1

对于我的项目，我需要获取某个关键字的新闻数量（来自谷歌新闻）的每日统计信息。但问题是通过浏览器获得的结果与通过 RCurl 获得的结果完全不同。似乎我错过了一些选择。应该做什么？非常感谢您提前提供任何提示！

这是代码（不是全部，只是 rcurl 选项），但 DPage 的内容与浏览器显示的内容不同 :( :

    require(RCurl)
    theURL<-"http://www.google.com/search?tbm=nws&q=Putin&tbs=cdr:1%2Ccd_min%3A09.11.10%2Ccd_max%3A09.11.11&tbm=nws"
    ch <- getCurlHandle()
    curlSetOpt(curl = ch,
               ssl.verifypeer = FALSE,
               useragent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/534.53.11 (KHTML, like Gecko) Version/5.1.3 Safari/534.53.10",
               timeout = 60,
               followlocation = TRUE,
               cookiejar = "./cookies",
               cookiefile = "./cookies") 
DPage <- getURL(theURL, curl = ch)
4

1 回答 1

1

Google 有一些防御措施来阻止不使用其自定义搜索 API 的自动请求。尝试在您的脚本中使用 Bing 搜索引擎 URL，它们还为开发人员提供了丰富的自定义搜索 API。 http://www.bing.com/news/search?q=putin&p1=[NewsVertical+SortByDate%3d%221%22]&FORM=YGNR

或者它的免费 RSS 提要，因为这不会对被阅读提供任何阻力。 http://api.bing.com/rss.aspx?Source=News&Market=en-GB&Version=2.0&Query=putin

于 2012-04-18T11:46:55.413 回答