0
点赞
收藏
分享

微信扫一扫

【python爬虫学习笔记】二、Scrapy框架的基本使用

萍儿的小确幸 2022-03-11 阅读 51
爬虫

Scrapy项目的创建

  1. 安装scrapy包
    pip install scrapy

  2. 在Pycharm中使用命令行创建项目
    scrapy startproject [项目的名称]
    在这里插入图片描述

  3. windows 下可以使用tree /F 命令查看目录
    在这里插入图片描述

  4. 在spiders目录下创建一个爬虫
    scrapy genspider[你的爬虫文件名] [限定爬虫的范围]
    在这里插入图片描述

  5. 测试运行

    	import scrapy
    	
    	
    	class SpidertestSpider(scrapy.Spider):
    	    # 爬虫名称
    	    name = 'spidertest'
    	    allowed_domains = ['quotes.toscrape.com']
    	    start_urls = ['http://quotes.toscrape.com/']
    	
    	    def parse(self, response):
    	        print(response.body)
    	        # pass
    

    测试检查爬虫,命令行输入:scrapy check spidertest
    在这里插入图片描述
    运行爬虫:scrapy crawl spidertest
    在这里插入图片描述

举报

相关推荐

0 条评论