
测试:创建一个工程:

在spiders子目录中创建一个爬虫文件

执行工程:

打开setting.py文件,将“ROBOTSTXT_OBEY = True ” 中True修改为False
再次执行工程

在setting.py中设置日志输出信息,可以只输出错误日志信息
python爬虫——scrapy使用笔记(超详细版)
阅读 44
2022-02-08

测试:创建一个工程:

在spiders子目录中创建一个爬虫文件

执行工程:

打开setting.py文件,将“ROBOTSTXT_OBEY = True ” 中True修改为False
再次执行工程

在setting.py中设置日志输出信息,可以只输出错误日志信息
相关推荐
精彩评论(0)