可能重复:
在 C# 中多线程处理大量 Web 请求
我正在研究一个刮刀,它必须从一个网站上刮掉大约 12000 个页面。现在我每小时只能得到 1500 页,这太慢了。
我想知道如何一次请求 10 页而不是 1 页?
private void backgroundWorker1_DoWork(object sender,
DoWorkEventArgs e)
{
//Page IDs - Start request loops
for (int i = 0; i < 12000; i++)
{
Get(url + i);
}
}
代码上的一个例子会很棒
谢谢!