1

我的任务是下载尽可能多的平面销售报价。我有用于下载链接和其他内容的脚本，但我无法获得公寓的坐标（这对我来说至关重要，是我分析的重点）。

坐标在网站上可见（通过检查谷歌地图元素），但在网站源中不可见。

当我使用下面的 R 代码时，我得到一个空列表，如果我使用 XML 或 RCurl 包没有区别。

你认为有可能使用 R 来实现这一点，还是我应该考虑其他编程语言（例如 Python？）

library(XML)
library(RCurl)
url<-'http://en.otodom.pl/flat-poznan-jezyce-2720m2-2-rooms-125000-pln-id13250586.html'
doc<-htmlParse(url,encoding='utf-8')
xpathApply(doc,'//div[@id="googleMap"]',xmlGetAttr,'data-map')

#the same result
doc<-getURL(url, httpheader = c('User-Agent' = "Informative string with your contact info"),.encoding='utf-8')
doc<-htmlParse(doc,encoding='utf-8')
xpathApply(doc,'//div[@id="googleMap"]',xmlGetAttr,'data-map')

# the same here
doc<-getURL(url, followlocation=T)
doc<-htmlParse(doc,encoding='utf-8')
xpathApply(doc,'//div[@id="googleMap"]',xmlGetAttr,'data-map')
4

1 回答 1

2

您的代码基本上是正确的，但它下载的页面中没有坐标。单击 Maps 链接会激活 Ajax 请求以拉入 Google Map，您需要解析第二个迷你页面以查找坐标。我已经将它打包成一个函数。传入该站点上页面的 url。它将拉下该页面，抓取数据 ID，调用 Google 地图并从中抓取坐标。

library(XML)
library(RCurl)

get.coords <- function(url) {
    doc<-htmlParse(url,encoding='utf-8')
    data.ins.id <- getNodeSet(doc,'//@data-ins-id')
    data.ins.id <- as.character(data.ins.id[[1]]["data-ins-id"])

    mapurl <- paste('http://en.otodom.pl/?mod=show&act=showMap&insId=', 
                    data.ins.id, 
                    sep='')
    doc <- htmlParse(mapurl,encoding='utf-8')
    result <- getNodeSet(doc,'//@data-map')
    result <- as.character(result[[1]]["data-map"])
    return(strsplit(result, "|", fixed=TRUE)[[1]][c(1,2)])
}

url <- 'http://en.otodom.pl/flat-poznan-jezyce-2720m2-2-rooms-125000-pln-id13250586.html'
coords <- get.coords(url)
coords
于 2012-04-25T23:43:55.747 回答