0
点赞
收藏
分享

微信扫一扫

python之scrapy框架的应用

1.安装第三方库scrapy,httpx,httpx[https]

pip install httpx httpx[http2] scrapy -i https://mirrors.aliyun.com/pypi/simple/

python之scrapy框架的应用_scrapy框架

2.创建项目scrapy startproject 项目名

scrapy startproject baidu_scrapy

python之scrapy框架的应用_日志级别_02

3.进入刚刚创建的这个框架目录:

D:\Py_code\2023\12\1225>cd baidu_scrapy

python之scrapy框架的应用_创建项目_03

4.使用模板创建py文件

D:\Py_code\2023\12\1225\baidu_scrapy>scrapy genspider baidu_source www.baidu.com

python之scrapy框架的应用_scrapy框架_04

5.修改setting

python之scrapy框架的应用_第三方库_05

6.修改模板创建的py文件

python之scrapy框架的应用_第三方库_06

7.运行代码

D:\Py_code\2023\12\1225\baidu_scrapy>scrapy crawl baidu_source

python之scrapy框架的应用_scrapy框架_07

python之scrapy框架的应用_日志级别_08

8.刚接触框架的小伙帮们可能不太习惯这种运行方法,这里也可以建一个main.py文件来直接运行这个main就ok,习惯使用第7步的小伙伴可以跳过这一步:

python之scrapy框架的应用_第三方库_09

9.这里我们发现运行之后会有很多这种红色的信息,这不是报错 是日志,当然,想要不打印这些日志的话就修改日志级别就OK了

python之scrapy框架的应用_scrapy框架_10

10.修改日志级别LOG_LEVEL='ERROR'

python之scrapy框架的应用_创建项目_11

11.补充,请求头添加位置setting文件里面

python之scrapy框架的应用_创建项目_12

举报

相关推荐

0 条评论