0

可能重复:
在 C# 中多线程处理大量 Web 请求

我正在研究一个刮刀,它必须从一个网站上刮掉大约 12000 个页面。现在我每小时只能得到 1500 页,这太慢了。

我想知道如何一次请求 10 页而不是 1 页?

private void backgroundWorker1_DoWork(object sender,
    DoWorkEventArgs e)
{ 
    //Page IDs - Start request loops
    for (int i = 0; i < 12000; i++)
    {
        Get(url + i);
    }
}

代码上的一个例子会很棒

谢谢!

4

0 回答 0