大多数网站都会设置很多的反爬虫机制，以避免发生服务器过载的情况，爬虫工作者可以通过代理IP来解决受限的问题。网站会识别用户的机器人并将其与真实的用户区分开来。以下情况很容易会被识别为网络抓取机器人：
1、大量请求从同一IP发送到URL，则其会被视为来自机器人。
2、如果用户的真实IP地址被目标网站的服务器检测到，那么目标网站则可以检测机器人的使用。
3、当发送到网站服务器的请求具有不相关的不同属性时，也会被判断来自于机器人。
4、当检测到较为可疑的浏览器配置时，目标网站可能会将其链接到机器人使用并阻止该IP的访问。
5、当连接到没有cookie的网站也是比较可疑的，并且会指向是机器人使用。
6、网站还会特别注意到网页上的非人类行为。因为机器人很难模拟鼠标和键盘操作，并且很容易被检测到。
IPIDEA已向众多互联网知名企业提供服务，对提高爬虫的抓取效率提供帮助，支持API批量使用，支持多线程高并发使用。
