2

我正在尝试使用 XPath 抓取网页的特定位置以找到它。该路径似乎是“隐藏的”，因为网页的其他部分很容易到达，但此部分返回一个NULL值。

我试过使用几个包，但我真的不是这个主题的专家，所以我无法真正评估发生了什么以及是否可以解决它。

这是我尝试过的。

require("XML")
require("scrapeR")
require("httr")

url <- "http://www.claro.com.ar/portal/ar/pc/personas/movil/eq-new/?eq=537"
xp <- '//*[@id="dv_MainContainerEquiposResumen"]/div[1]/h1'

page <- scrape(url)
xpathApply(page[[1]], xp, xmlValue)
# NULL

url.get = GET(url)
xpathSApply(content(url.get), xp)
# NULL

webpage = getURL(url)
doc = htmlTreeParse(webpage, error=function(...){}, useInternalNodes = TRUE)
xpathSApply(doc, xp)
# NULL
4

2 回答 2

2

您可以使用 Selenium 和 RSelenium 包抓取页面：

url <- "http://www.claro.com.ar/portal/ar/pc/personas/movil/eq-new/?eq=537"
xp <- '//*[@id="dv_MainContainerEquiposResumen"]/div[1]/h1'
require(RSelenium)
RSelenium::startServer()
remDr <- remoteDriver()
remDr$open()
remDr$navigate(url)
webElem <- remDr$findElement(value = xp)
> webElem$getElementAttribute("outerHTML")[[1]]
[1] "<h1>Samsung Galaxy Core</h1>"
> webElem$getElementAttribute("innerHTML")[[1]]
[1] "Samsung Galaxy Core"
remDr$close()
remDr$closeServer()
于 2014-05-22T05:38:32.703 回答
1

页面的该部分似乎稍后通过 javascript 添加。它不存在于页面的源代码中。我不认为scrapeR评估 javascript。

数据似乎来自对http://www.claro.com.ar/portal/ar/ceq/js/ceq.js?ver=1.0.0的 AJAX 调用。它可能正在查看引用者以了解要发送的数据。

看来这将有助于获取该数据

library(RCurl)
getURL("http://www.claro.com.ar/portal/ar/ceq/js/ceq.js?ver=1.0.0",
    .opts=curlOptions(referer="http://www.claro.com.ar/portal/ar/pc/personas/movil/eq-new/?eq=537"))
于 2014-05-21T19:38:14.000 回答