我有一个小型网络爬虫，有时必须抓取 Twitter 并提取 URL。我使用 .net 框架中提供的 Webclient 类的修改版本。
通常这可以正常工作，即使是来自站点的缩短的 URL。
但是，当跟随一个缩短的 URL 时，webclient 会超时。
你认为他们在过滤某些客户？
我该如何解决这个问题或为什么会这样？
问问题
663 次
您确定可以从您的网络中访问该 URL，而无需通过代理吗？
您的网络客户端控件是否遵循重定向？你可以通过创建一个TinyURL来测试它，看看你的 webclient 是否可以浏览到它。
如果您在浏览器中通过代理，则需要在 WebClient 控件中进行设置。
测试他们是否正在过滤客户端应该很容易 - 例如，将 Request 对象上的 UserAgent 设置为与 FireFox 匹配。