0
点赞
收藏
分享

微信扫一扫

【开源】SpringBoot框架开发班级考勤管理系统

90哦吼 03-14 12:00 阅读 2

1.scrapy-redis介绍

1.scrapy框架程

2.分布式爬虫将多个主机组合起乱来,完成一个爬虫任务,快速高效的提高爬虫效率

3.scrapy-redis框架,

优点:1.加快项目的运行速度2.单节点不稳定不影响整个系统的稳定性 3.断点续爬

缺点:需要投入大量的硬件资源

4.区别:

        1.在scrapy框架流程的基础上,把存储reqeust对象放到了redis的有序集合中,利用该有序集合实现了请求队列

        2.并且request对象生成指纹对象,也存储到统一redis中,利用request指纹避免发送重复请求;

2.安装

举报

相关推荐

0 条评论