0

我正在编写一个小型实验应用程序，需要从多个网站上抓取数据。

目前，我在后续请求和使用多个用户代理字符串之间添加了随机延迟（2-20 秒）。还有什么可以帮助网络抓取工具逃避检测？

例如，设置 referrer 或 x-forwarded-for 标头是否有任何优势。

4

1 回答 1

0

也许使用tor并更改其频率以更频繁地更新 IP 地址？

于 2013-05-05T22:50:14.380 回答