Scrapy简介

Scrapy是目前最主流的爬虫框架之一，是一个高级，快速，稳定的python框架。经常用于数据爬取，数据保存，数据监测等。除了Scrapy框架还有Crawley框架，Portia框架，newspaper框架等深受广大爬虫工程师们的喜爱。

基于Windows下Scrapy的安装

以下基于cmd窗口下pip命令进行安装

1.pip命令安装

pip命令一般是python自行安装的，只要安装了python  pip就会自动安装。

如果自己系统中的pip不是最新版，可以通过以下命令进行升级。

python -m pip install --upgrade

通过pip show pip 可以查看pip的版本

2.wheel的安装

直接pip install wheel 不需要下载任何东西

出现以下命令表示安装成功

 3，lxml的安装

lxml是Scrapy框架的重要组成之一。

需要在以下链接中下载才可以安装成功。（链接中的链接比较多，需要下载以lxml开头的链接）

https://www.lfd.uci.edu/~gohlke/pythonlibs/

以下图片表示安装成功

 4.pyopenSSL的安装

直接pip install pyopenSSL 不需要下载任何东西

出现以下命令表示安装成功

5，pywin32的安装

需要在以下链接中下载才可以安装成功。（链接中的链接比较多，需要下载以pywin32开头的链接）

https://www.lfd.uci.edu/~gohlke/pythonlibs/

以下图片表示安装成功

6，Twisted的安装

 Twisted是Scrapy框架重要组成部分，没有之一。（所有的Scrapy命令都是基于Twisted）

需要在以下链接中下载才可以安装成功。（链接中的链接比较多，需要下载以lxml开头的链接）

https://www.lfd.uci.edu/~gohlke/pythonlibs/

7，scrapy的安装

wheel ，lxml ，pyopenSSL , Twisted 这几个组件安装成功后才能安装Scrapy。

pip install scrapy 进行安装

如果以上命令都没有出错，那么恭喜你已经安装成功了。

以上安装方法只提供参考。