背景。我有一项正在抓取合作伙伴网站的服务。他们的网站通过 IP 地址阻止“类似机器人”的行为。他们自己不控制他们的服务器,所以他们希望我经常(例如每分钟)更改我的爬虫的 IP 地址。爬网程序当前作为 Azure 云服务运行。
所以我的问题是。您将如何以编程方式更改 Azure 服务器的 IP 地址?
我可以使用代理...但是该站点在 SSL 上运行,所以我不确定这是一个选项。
我可以使用 VPN 连接...但我不确定是否可以从云服务/VM 中以编程方式拨打 VPN?我正在使用 C#/.NET。
最后。我尝试进行 VIP 交换,它实际上在几秒钟内给了我一个新 IP。但不幸的是,这仅在从 Staging 切换到 Production 时才有效。如果没有暂存运行,则在尝试从生产切换到暂存时出现错误。为什么会被阻止?