0
点赞
收藏
分享

微信扫一扫

Pycharm安装scrapy以及初始化爬虫项目

目标践行者 2022-04-07 阅读 68
python

一)安装scrapy:

1、打开cmd命令窗口,输入:pip install Scrapy。

2、安装成功之后会显示下面字符,表示未将scrapy设置到环境变量。

3、右键我的电脑-->属性-->高级设置--->环境变量---->系统变量中的Path--->编辑--->添加--->将上文中黄色的路径添加到环境变量即可。

4、scrapy安装完毕。


二)创建一个scrapy爬虫项目:

1、创建一个普通的Pycharm项目,然后找到下面的terminal

 2、输入命令scrapy startproject 模块名称(可以自己随便起,我以名为mine为例),成功之后你会发现自己的项目中多了一个mine的包文件。

 3、上述操作成功后终端会显示下图文字:此时我们输入cd那条命令。进入目标文件。

 4、这时就可以创建爬虫目标文件啦,

        输入scrapy genspider 爬取名 网站域名

 2和3操作截图: 

5、此时我们会在目录里看见一个新的py文件:里自动生成如下代码:

 


三)开启pycharm对scrapy框架的调试功能:

 1、在与mine包同级条件下创建一个mine文件:

 2、mine文件将一下代码赋值进去:

import os
import sys

from scrapy.cmdline import execute

sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy", "crawl", "cnblog"])  # 第三个参数为自己创建的那个爬取的名称

 这样就大功告成啦!有什么问题欢迎评论区提问.........

举报

相关推荐

Vue项目初始化

初始化vue项目

Spring初始化项目

flask项目初始化

01.项目初始化

Java 项目学习(初始化项目)

0 条评论