0
点赞
收藏
分享

微信扫一扫

scrapy系列1--ItemLoader讲解

scrapy提供了一个强大的工具类ItemLoader,本文通过一个实例介绍一些常用用法。

以链家的一个具体房源为目标,页面大概长这样的

 scrapy系列1--ItemLoader讲解_ide

我们的目标是提取出红框中的信息。

编写items 

scrapy系列1--ItemLoader讲解_工具类_02


​编写spider​


ItemLoader有三个常用的函数,add_xpath,add_css,add_value,前面两个功能类似,第一个参数是抓取信息的名字,第二个参数是xpath或css表达式,第二和第三个add_xpath都是type字段,会将第二个抓取到的信息放到第一个后面。add_value第二个参数把值赋给第一个参数名称,这里以时间为值。且后面可以加正则表达式,如注释那一行所写。

运行结果如下:


type是一个有两个元素的列表,如何把两个元素合并起来,在很多电商网站会将商品价格拆分为多个,合并是很有必要的。

只需在items文件的Scrapy1Item类中修改为下面这种形式

from scrapy.loader.processors import Jointype = scrapy.Field(output_processor=Join())


导入Join函数,定义output_processor即可。

运行结果:


ItemLoader抓取到的是一个列表,我们可以重定义一个Item类,取列表中的第一个元素。

在items文件中再创建一个类:

from scrapy.loader.processors import TakeFirst

class TeItem(ItemLoader):

default_output_processor = TakeFirst()


TakeFirst即是指取第一个不为空的元素。在spiders中要导入这个类,并实例化ItemLoader时用TeItem类:

​sel ​​​​=​​​​ItemLoader(item​​​​=​​​​Scrapy1Item(),response​​​​=​​​​response) ​



举报

相关推荐

0 条评论