c# - 并行批量搜索引擎查询

Question

我需要编写一个程序，尽可能高效地将大约 200 个搜索查询并行发送到 Bing.com。考虑到阻塞线程和服务器错误，我应该如何最好地实现它。

例如：发送搜索http://www.bing.com/search?q=.net，但每个搜索的关键字不同。

更新 当前，我使用HttpClient和Task类来发送请求、等待/阻塞并获取结果。我想知道您的解决方案是否会更好。

任何想法或链接将不胜感激！

更新

正如建议的那样，我应该使用它的 api 密钥。

Answer 1

搜索引擎不喜欢被抓取的内容。它违反了他们的服务条款，他们积极地阻止了它。

除非您有允许这样做的协议（以及因此的 api 密钥），否则这将很难。

该代码将只是异步 Web 请求或（可能更容易但效率较低）并行同步 Web 请求。

但是，您需要访问大量代理以避免不可避免的 IP 禁令。我不建议你尝试这样做