1.安装第三方库scrapy,httpx,httpx[https]
pip install httpx httpx[http2] scrapy -i https://mirrors.aliyun.com/pypi/simple/
2.创建项目scrapy startproject 项目名
scrapy startproject baidu_scrapy
3.进入刚刚创建的这个框架目录:
D:\Py_code\2023\12\1225>cd baidu_scrapy
4.使用模板创建py文件
D:\Py_code\2023\12\1225\baidu_scrapy>scrapy genspider baidu_source www.baidu.com
5.修改setting
6.修改模板创建的py文件
7.运行代码
D:\Py_code\2023\12\1225\baidu_scrapy>scrapy crawl baidu_source
8.刚接触框架的小伙帮们可能不太习惯这种运行方法,这里也可以建一个main.py文件来直接运行这个main就ok,习惯使用第7步的小伙伴可以跳过这一步:
9.这里我们发现运行之后会有很多这种红色的信息,这不是报错 是日志,当然,想要不打印这些日志的话就修改日志级别就OK了
10.修改日志级别LOG_LEVEL='ERROR'
11.补充,请求头添加位置setting文件里面