IP模拟器
每次使用爬网程序爬网数据时，它总是受到限制，这意味着访问太快或返回错误代码。这个网站怎么知道爬虫在抓取数据？
因为互联网上爬虫太多，大部分流量都是爬虫贡献的。但是，除了搜索引擎，其他爬虫对网站没有任何利润，也会影响网站的运营和用户的体验。他们如何受到欢迎？
而且，如果竞争对手收集信息并进行分析，获取有价值的信息，岂不是给自己增加了竞争对手？
因此，面对这些爬虫，网站拒绝并设置了各种反爬虫。爬虫爬行时，如果不伪装自己的数据，就会触发网站的反爬虫机制，进而拦截爬虫的行为。大多数网站都设置了这些反爬虫程序:
1.IP检测。
也就是说，将检测用户IP访问的速度。如果访问速度达到设定的阈值，就会触发限制，封存IP，阻止爬虫再次获取信息。对于这个IP检测，可以使用IP更改软件来更改大量的IP地址，可以很好的突破限制。
2.验证码检测。
如果设置了登录验证码限制，并且验证码限制设置得太快，如果没有输入正确的验证码，将不会再次获得信息。由于爬行动物可以使用其他工具识别验证码，网站不断加深验证码的难度，从普通的纯数据研究验证码到混合验证码，或者滑动验证码和图片验证码。
3.请求头检测。
爬网程序不是用户。访问时，没有其他功能。网站可以通过检测爬虫的请求头来检测对方是用户还是爬虫。
4.cookie检测。
浏览器会保存cookie，所以网站会通过检测cookie来识别你是否是真实用户。如果爬虫没有伪装，就会触发限制访问。
这些就是网站知道爬虫在抓取数据的原因。随着科技的进步，网站不仅要设置以上的反爬虫，还需要根据网站的实际情况设置反爬虫来突破限制。
