1

我希望通过 C# 中的 HTML 整体下载 Google 趋势图表。但是，当我第一次开始下载页面时，大约 6 次成功下载后，它们开始发送错误页面。我不相信谷歌会限制我的下载，因为当我在浏览器中查看网页时，它们显示得很好。对于我如何从它工作到它突然导致问题有点困惑......

下面是正在发生的事情。左边的页面是错误页面，右边的页面是浏览器中的同一页面。所有单词都有相同的问题，即它们不通过代码下载，但在浏览器中它们工作正常。

图片链接：http: //i.imgur.com/ZC0sOoi.png

这是我试图从中获取数据的关键字的示例 URL（来自图像的那个）： https://trends.google.com/trends/fetchComponent?hl=en-US&q=debt&cid=TIMESERIES_GRAPH_0&export= 5&w=500&h=300

这是我用来下载 HTML 的代码，字符串 url 与上面相同，查询将是“debt”，再次来自上面的 URL...

public static void Download(string url, string query)
{
    WebClient webClient = new WebClient();
    webClient.Credentials = CredentialCache.DefaultCredentials;

    try
    {
        webClient.DownloadFile(url, @"C:\Users\Sean\Desktop\StockApp\StockApp\StockApp\KeywordLogs\" + query + "HTML.txt");
        Console.WriteLine("[" + DateTime.Now.ToString("h:mm:ss tt") + "] Downloaded data for: " + query);
    }
    catch (Exception ex)
    {
        Console.WriteLine("[" + DateTime.Now.ToString("h:mm:ss tt") + "] Query:" + query);
        Console.WriteLine(ex.InnerException);
    }
}

我还在 Brackeys 论坛上发布了这个问题，链接在这里：http: //forum.brackeys.com/thread/data-mining-issue-google-trends/

感谢您提前提供的所有帮助，Elucid

4

0 回答 0