0

我在 R 中有一个语料库 x，它是从使用 DirSource 的目录创建的。每个文档都是一个文本文件，其中包含相关 vBulletin 论坛网页的完整 HTML。因为它是一个线程，所以每个文档都有多个我想用我的 XPath 捕获的单独的帖子。XPath 似乎可以工作，但我无法将所有捕获的节点放回语料库。

如果我的语料库有 25 个文档，每个文档平均有 4 个帖子，那么我的新语料库应该有 100 个文档。我想知道我是否必须做一个循环并创建一个新的语料库。

到目前为止，这是我凌乱的工作。来自 www.vbulletin.org/forum/ 中的线程的任何来源都是该结构的示例。

#for stepping through
xt <- x[[5]]
xpath <- "//div[contains(@id,'post_message')]"

getxpath <- function(xt,xpath){
  require(XML)

  #either parse
  doc <- htmlParse(file=xt)
  #doc <- htmlTreeParse(tolower(xt), asText = TRUE, useInternalNodes = TRUE)

  #don't know which to use
  #result <- xpathApply(doc,xpath,xmlValue)
  result <- xpathSApply(doc,xpath,xmlValue)

  #clean up
  result <- gsub(pattern="\\s+",replacement=" ",x=gsub(pattern="\n|\t",replacement=" ",x=result))

  result <- c(result[1:length(result)])

  free(doc)

  #converts group of nodes into 1 data frame with numbers before separate posts
  #require(plyr)
  #xbythread <- ldply(.data=result,.fun=function(x){unlist(x)})

  #don't know what needs to be returned
  result <- Corpus(VectorSource(result))
  #result <- as.PlainTextDocument(result)

  return(result)
}

#call
x2 <- tm_map(x=x,FUN=getxpath,"//div[contains(@id,'post_message')]")
4

1 回答 1

1

前一阵子想通了。htmlParse 需要 isURL=TRUE。

getxpath <- function(xt,xpath){
  require(XML);require(tm)
  x <- htmlParse(file=u,isURL=TRUE)
  resultvector <- xpathSApply(x,xpath,xmlValue)
  result <- gsub(pattern="\\s+",replacement=" ",x=gsub(pattern="\n|\t",replacement=" ",x=resultvector))
  return(result)
}

res <- getxpath("http://url.com/board.html","//xpath")

要获取所有文件，我使用 list.files 获取文件列表，使用 Map/clusterMap 和 getxpath() 将它们放入列表中，使用 do.call 将它们放入向量中，并使用 Corpus(VectorSource(res)) 来将它们放入语料库中。

于 2012-11-29T17:26:54.947 回答