0

我最近写了一个爬虫，但看到我的 ip 由于高流量而被阻止。我想知道像 Bing、Google 这样的搜索引擎如何如此频繁地抓取网站。

他们如何“摆脱”它？它是否也基于网站所有者对他/她想要被抓取的内容的偏好？

4

0 回答 0