今天跑了一下之前写的额爬虫,发现频繁执行时会报出一个超过最大连接数的问题。 网上查了一下, 原因是 http连接太多没有关闭导致的。 通俗来说就是每次爬取时建立一个HTTP连接,但是这个http连接没有结束,又新建了连接。 解决办法:1、增加重试连接次数2、关闭多余的连接requests使用了urllib3库,默认的http connection是keep-alive的,requests设置False关闭。