我正在 Python 中运行网络抓取算法(使用 BeautifulSoup),我可能已被我访问的一个网站列入黑名单:
事实上:
- 即使我使用假的用户代理(与我的浏览器相同)+ VPN(筑波大学的 VPN Gate),我也无法在我的主计算机上抓取页面
- 如果我在另一台设备上使用我当前的网络,我无法抓取页面
- 我可以使用其他网络(手机热点、其他 WiFi 等)抓取页面
我已经阅读了一些关于 IP 轮换的信息,但我不知道它是否是被网站阻止的 IP(因为我可以从浏览器访问该网站)。我也尝试过 /renew + /release 我的 ipconfig
非常感谢