0
点赞
收藏
分享

微信扫一扫

scrapy的管道持久化存储流程以及操作

捡历史的小木板 2022-03-20 阅读 69
python

首先是数据分析,分析好了准备存储。

在item中定义相关的属性

将解析的数据封装储存到item类型对象

这个报错不用管,这样的输入是可以用的

然后将item类型对象提交给管道进行持久化存储操作。

 

这个是专门用来处理item类型对象的,从爬虫文件提交的item类型对象,会在管道类的process_item接收后,进行持久化存储的操作,该方法每当接收一次就会被调用一次。

在配置文件中开启管道,激活一下item_piprlines,后面的300优先数字,数字越小优先级就越高

 

激活以后就可以,运行scrapy  crawl  爬虫源文件名称 

举报

相关推荐

0 条评论