4

我正在尝试使用 RCurl 在以下 URL 处抓取移动格式的网页:

http://m.fire.tas.gov.au/?pageId=incidentDetails&closed_incident_no=161685

使用此代码:

library(RCurl)
options( RCurlOptions = list(verbose = TRUE, useragent="Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.A.B.C Safari/525.13"))
inurl <- getURL(http://m.fire.tas.gov.au/?pageId=incidentDetails&closed_incident_no=161685)

请注意,我尝试将用户代理设置为看起来像 Chrome 浏览器 - 无论是否这样做,我得到的结果都是相同的。当我在 Chrome 中查看 URL 时,日期格式如下:

网页上的文字截图

HTML 源代码与以下内容相匹配:

Last Updated: 24-Aug-2009 11:36<br>
First Reported: 24-Aug-2009 11:24<br>

但在 R 中,在我从 URL 中检索数据后,日期的格式如下:

Last Updated: 2009-08-24<br>    
First Reported: 2009-08-24<br>

有什么想法吗?我认为服务器正在响应浏览器/Curl 的用户代理或区域或语言或类似的东西,并返回不同的数据,但无法弄清楚我需要在 RCurl 的选项中设置什么来更改它。

4

1 回答 1

0

看起来服务器正在期待“Accept-Language”标头:

library(RCurl)
getURL("http://m.fire.tas.gov.au/?pageId=incidentDetails&closed_incident_no=161685", 
       httpheader = c("Accept-Language" = "en-US,en;q=0.5"))

为我工作(退货First Reported: 24-Aug-2009 11:24<br>等)。我通过使用HttpFox Firefox 插件发现了这一点。

于 2013-01-29T02:45:07.700 回答