0
点赞
收藏
分享

微信扫一扫

Python 使用scrapy爬虫框架爬取图片下载并保存本地


Scrapy官方文档:​​http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html​​

基本按照文档的流程过一遍基本就会用了:

在爬取之前,先创建一个新的Scrapy项目,进入终端,输入下面命令:
scrapy startproject BiZhi

该命令将创建包含下面的内容tutorial目录:

Python  使用scrapy爬虫框架爬取图片下载并保存本地_获取图片

在终端输入下面命令进入该项目:

cd BiZhi

输入我们需要爬取的网址:
scrapy genspider bizhi pic.netbian.com

我们主要编辑的如下图箭头所示:
 

Python  使用scrapy爬虫框架爬取图片下载并保存本地_.net_02

我们先进入spiders下面的bizhi.py进行编辑:

Python  使用scrapy爬虫框架爬取图片下载并保存本地_.net_03

1.下面是获取图片和下载完整代码:
 

# -*- coding: utf-8 -*-
import scrapy
from ..items import BizhiItem

class BizhiSpider(scrapy.Spider):
name = 'bizhi'
allowed_domains = ['pic.netbian.com']
start_urls = ['http://pic.netbian.com/']

def parse(self, response):
# 获取图片
picture_list = response.xpath('//ul[@class="clearfix"]/li/a//@src').extract()
for picture in picture_list:
# 拼接完整地址
url = 'http://pic.netbian.com' + picture
item = BizhiItem()
item['url'] = [url]
yield item
# 获取下一页地址链接
next_url = response.xpath('//div[@class="page"]/a/@href').extract()
for next in next_url:

if len(next) != 0:
# 拼接下一页完整地址
downPageUrl = 'http://pic.netbian.com' + next

yield scrapy.Request(url=downPageUrl,callback=self.parse)

2.进入items.py进行编辑:
 

Python  使用scrapy爬虫框架爬取图片下载并保存本地_ide_04

3.进入settings.py进行编辑:

Python  使用scrapy爬虫框架爬取图片下载并保存本地_获取图片_05

Python  使用scrapy爬虫框架爬取图片下载并保存本地_ide_06

最后我们在命令行输入下面代码运行:

scrapy crawl bizhi

 

注意:这个网址只提供参考,这个网址图片比较多,我下载了3个多小时,最后看了一下2万多张图片......

举报

相关推荐

0 条评论