python爬虫——scrapy使用笔记（超详细版）

测试：创建一个工程：

 在spiders子目录中创建一个爬虫文件

执行工程：

打开setting.py文件，将“ROBOTSTXT_OBEY = True ” 中True修改为False

再次执行工程

在setting.py中设置日志输出信息，可以只输出错误日志信息