【开源】SpringBoot框架开发班级考勤管理系统

90哦吼

关注

阅读 10

2024-03-14

1.scrapy-redis介绍

1.scrapy框架程

2.分布式爬虫将多个主机组合起乱来,完成一个爬虫任务,快速高效的提高爬虫效率

3.scrapy-redis框架,

优点:1.加快项目的运行速度2.单节点不稳定不影响整个系统的稳定性 3.断点续爬

缺点:需要投入大量的硬件资源

4.区别:

        1.在scrapy框架流程的基础上,把存储reqeust对象放到了redis的有序集合中,利用该有序集合实现了请求队列

        2.并且request对象生成指纹对象,也存储到统一redis中,利用request指纹避免发送重复请求;

2.安装

精彩评论(0)

0 0 举报