第五章 反爬虫策略思维导图

通过识别用户请求的 Headers 来反爬虫是网站服务器最常用的反爬虫策略。很多网站都会对 HTTP 请求头部的 User-Agent 进行检测(判断是否为浏览器访问);有一部分网站会对 Referer 进行检测(一些资源网站的防盗链接): 还有一部分网站会对 Cookie 进行检测(需要登录才能获取更多数据)。

通过检测用户行为来判断请求是否来自爬虫程序也是一种常用的反爬虫策略。例如，同一 I 地址短时间内多次访问，或者同一账户短时间内多次进行相同操作，都有可能使网站服务器采取反爬虫措施。

有一些网站的网页是通过 JavaScript 动态生成的，无法直接爬取当前网页获取所需数据，这样对爬虫程序的直接爬取造成了一些困难。

针对网站检测 IP 访问的反爬虫策略，可以使用代理 IP。代理 IP是代理用户取得网络信息的 IP 地址，它可以帮助爬虫程序掩藏真实身份，突破 IP 访问的限制，隐藏爬虫程序的真实 IP，从而避免被网站的反爬虫程序禁止。

爬虫程序运行得太频繁，一方面对网站极不友好，另一方面十分容易触发网站的反爬虫。因此，当运行爬虫程序时，可以设置两次请求之间的时间间隔来降低请求频率(通过 time 库设置程序休眠时间来实现)。