当爬虫的IP地址被封后，可能会出现不同的后果。通常，最常见的后果是被限制访问，但具体的封禁时长和终端设定有关。例如，某些终端可能只会限制访问5分钟，之后就可以继续使用；而其他终端则可能会在短时间内达到一定的任务请求数量后直接封禁IP地址，并且不会解封。此外，有些终端也可能直接封禁可疑的IP地址段，这种情况比较严重，可能会被人工怀疑并判定为CC反攻。在这种情况下，深度分析日志可能会有所帮助。
被封禁的IP地址说明爬虫的IP地址质量不合格。例如，如果发放的末段IP地址相同的概率很大，或者短时间内请求任务的重叠度很高，这通常出现在低质量的共享IP池中。因此，可以先运行一定量的测试（非正式爬取），以了解终端的限制阈值，然后合理安排代理IP地址数量和控制访问速度，最好使用多样性节点并增加通道数，同时避免请求任务数过高。多次测试后发现，隧道代理更加便捷和快速，并且可以满足众多使用场景。
在优化软件制作站点地图时，可以通过爬虫获取URL。通过测试，即使使用普通匿名代理IP地址，也可以在几分钟内爬取数千页，而没有任何问题。但是，许多品牌声称使用高匿代理IP地址，但实际使用时却并不是真正的高匿代理，有些甚至连header字段都被识别过滤掉。
如果某个页面是很久的404页面，而且站内没有入口，但经常被访问，那么这种IP地址就非常可疑。同样地，如果某些JS等文件在短时间内被经常访问，那么这也是不正常的。
