c# - 为什么在尝试抓取这个缩短的 URL 时 WebClient 会超时？

Question

我有一个小型网络爬虫，有时必须抓取 Twitter 并提取 URL。我使用 .net 框架中提供的 Webclient 类的修改版本。

通常这可以正常工作，即使是来自站点的缩短的 URL。

但是，当跟随一个缩短的 URL 时，webclient 会超时。

你认为他们在过滤某些客户？

我该如何解决这个问题或为什么会这样？

Answer 1

您确定可以从您的网络中访问该 URL，而无需通过代理吗？

您的网络客户端控件是否遵循重定向？你可以通过创建一个TinyURL来测试它，看看你的 webclient 是否可以浏览到它。

如果您在浏览器中通过代理，则需要在 WebClient 控件中进行设置。

测试他们是否正在过滤客户端应该很容易 - 例如，将 Request 对象上的 UserAgent 设置为与 FireFox 匹配。