2

我正在使用 SQL 和 R 开发文本挖掘解决方案。

首先，我从我的 SQL 选择中将数据导入 R，然后用它进行数据挖掘。

这是我得到的：

rawData = sqlQuery(dwhConnect,sqlString) 
a = data.frame(rawData$ENNOTE_NEU)

如果我做一个

a[[1]][1:3]

你看结构：

[1] lorem ipsum li ld ee wö wo di dd
[2] la kdin di da dogs chicken
[3] kd good i need some help

现在我想用我自己的字典做一些数据清理。一个例子是用lorem ipsum 和kd替换li以及用kunde替换kdin

我的问题是如何为整个数据框做到这一点。

 for(i in 1:(nrow(a)))
    {
        a[[1]][i]=gsub( " kd | kdin " , " kunde " ,a[[1]][i])
        a[[1]][i]=gsub( " li " , " lorem ipsum " ,a[[1]][i])
...
    }

有效，但对于大量数据来说速度很慢。

有没有更好的方法来做到这一点？

欢呼船长

4

2 回答 2

4

gsub是矢量化的，所以你不需要循环。

a[[1]] <- gsub( " kd | kdin " , " kunde " , a[[1]])

更快。

另外，您确定要在正则表达式中使用空格吗？这样你就不会匹配行首或行尾的单词。

于 2011-07-27T14:00:30.033 回答
0

替代方法：完全避免正则表达式。当您有很多不同的词要搜索时，这最有效，因为除了第一次之外，您将避免文本操作。

a1 <- c("lorem ipsum li ld ee wö wo di dd","la kdin di da dogs chicken","kd good i need some help")
x <- strsplit(a1, " ",fixed=TRUE) # fixed option avoids regexes which will  be slower

replfxn <- function(vec,word.in,word.out) {
  vec[vec %in% word.in] <- word.out
  vec
}

word.in <- "kdin"
word.out <- "kunde"

replfxn(x[[2]],word.in,word.out)

lapply(x,replfxn,word.in=word.in,word.out=word.out)
[[1]]
[1] "lorem" "ipsum" "li"    "ld"    "ee"    "wö"    "wo"    "di"    "dd"   

[[2]]
[1] "la"      "kunde"   "di"      "da"      "dogs"    "chicken"

[[3]]
[1] "kd"   "good" "i"    "need" "some" "help"

对于要搜索的大量单词，我猜这比正则表达式要快。它也更适合数据代码分离，因为它有助于编写合并或类似函数以从文件中读取字典，而不是将其嵌入代码中。

如果您确实需要以原始格式返回（作为空格分隔的字符向量），您可以将 apaste应用于结果。

这是计时结果。我的立场得到纠正：看起来 gsub 更快！

library(microbenchmark)
microbenchmark(
  gsub( word.in , word.out , a1) ,
  lapply(x,replfxn,word.in=word.in,word.out=word.out) ,
  times = 1000
  )

                                                        expr    min     lq
1                                gsub(word.in, word.out, a1)  42772  44484
2 lapply(x, replfxn, word.in = word.in, word.out = word.out) 102653 106075
  median       uq    max
1  47905  48761.0 691193
2 109496 111635.5 970065
于 2011-07-27T17:43:44.107 回答