0
点赞
收藏
分享

微信扫一扫

Python爬虫:scrapy防止爬虫被禁的策略


爬虫策略:

1、​​动态User-Agent​​(随机切换User-Agent,模拟不同用户的浏览器信息),使用中间件

class RandomUserAgentMiddleware(object):
def process_request(self, request, spider):
request.headers.setdefault('User-Agent', "xxx")

2、​​禁用Cookies​​(也就是不启用cookies middleware,不向Server发送cookies,有些网站通过cookie的使用发现爬虫行为)可以通过COOKIES_ENABLED 控制 CookiesMiddleware 开启或关闭

# 禁用cookies,防止某些网站根据Cookie来封锁爬虫。
COOKIES_ENABLED = False

3、 ​​延迟下载​​(防止访问过于频繁,设置为 2秒 或更高)

# 设置下载延迟
DOWNLOAD_DELAY = 3

4、 ​​缓存数据​​ Google Cache 和 Baidu Cache:如果可能的话,使用谷歌/百度等搜索引擎服务器页面缓存获取页面数据。

5、​​IP地址池​​:VPN和代理IP,现在大部分网站都是根据IP来ban的。

class RandomProxyMiddleware(object):
def process_request(self, request, spider):
request.meta["proxy"] = "127.0.0.1:8888"

6、 ​​Crawlera​​(专用于爬虫的代理组件),正确配置和设置下载中间件后,项目所有的request都是通过crawlera发出。

DOWNLOADER_MIDDLEWARES = {
'scrapy_crawlera.CrawleraMiddleware': 600
}

CRAWLERA_ENABLED = True
CRAWLERA_USER = '注册/购买的UserKey'
CRAWLERA_PASS = '注册/购买的Password'


参考


  1. ​​爬虫框架Scrapy之Downloader Middlewares​​
  2. ​​下载器中间件(Downloader Middleware)​​




举报

相关推荐

0 条评论