crawlspider案例-CFANZ编程社区

crawlspider案例

python 爬虫中的crawlspider案例（以下载读书网数据为列）
利用scrapy中带的管道存储数据

一.打开``命令行

注意：运行scrapy的项目时需要在venv的目录下创建（我自己尝试的是，在其他地方无法调用一些库，个人所测是）

scrapy startproject  scrapy_dushuwang_3    #创建项目
cd \scrapy_dushuwang_3\scrapy_dushuwang_3\spiders    #跳转到spiders路径
scrapy genspider -t crawl du  https://www.dushu.com/book/1158.html  #创建爬虫类

2.进入pycharm中开始编写代码
（1）打开创建的du.py
修改以下部分

allowed_domains = ['www.dushu.com']  
start_urls = ['https://www.dushu.com/book/1158_1.html']   #删除html后的\，之所以在1158后加_1，要指定好第一页的链接，以防漏掉
rules = {
      Rule(LinkExtractor(allow=r'/book/1158_\d+\.html'),
          callback='parse_item',
          follow=False),

增加代码

def parse_item(self,response):
    img_list = response.xpath('//div[@class="bookslist"]//img')

    for img in img_list:
        name = img.xpath('./@alt').extract_first()
        src = img.xpath('./@data-original').extract_first()
        book = ScrapyDushuwang3Ttem(name=name,src=src)    #需到items.py中查看括号前一部分内容
        yield book

在这里插入图片描述
3.进入到pipelines.py中
添加代码

def open_spider(self,spider):
    self.fp = open('book.json','w',encoding='utf-8')

def process_item(self,item,spider):
    self.fp.write(str(item))
    return item

def close_spider(self,spider):
    self.fp.close()