3

我有文本语料库。

mytextdata = read.csv(path to texts.csv)
Mystopwords=read.csv(path to mystopwords.txt)

如何过滤此文本？我必须删除：

1) all numbers

2) pass through the stop words

3) remove the brackets

我不会使用dtm，我只需要从数字和停用词中清除此文本数据

样本数据：

112773-Tablet for cleaning the hydraulic system Jura (6 pcs.) 62715

Jura,the是停用词。

在我期望的输出中

  Tablet for cleaning hydraulic system
4

2 回答 2

5

由于目前问题中有一个字符串可用，因此我决定自己创建一个示例数据。我希望这与您的实际数据接近。正如 Nate 所建议的，使用 tidytext 包是一种方法。在这里，我首先删除了数字、标点符号、括号中的内容以及括号本身。然后，我使用 . 分割每个字符串中的单词unnest_tokens()。然后，我删除了停用词。由于您有自己的停用词，因此您可能需要创建自己的词典。我只是jura在filter()部分中添加了。按 id 对数据进行分组，我将单词组合起来以在summarise(). 请注意，我使用jura而不是Jura. 这是因为unnest_tokens()将大写字母转换为小写字母。

mydata <- data.frame(id = 1:2,
                     text = c("112773-Tablet for cleaning the hydraulic system Jura (6 pcs.) 62715",
                              "1234567-Tablet for cleaning the mambojumbo system Jura (12 pcs.) 654321"),
                     stringsAsFactors = F)

library(dplyr)
library(tidytext)

data(stop_words)

mutate(mydata, text = gsub(x = text, pattern = "[0-9]+|[[:punct:]]|\\(.*\\)", replacement = "")) %>%
unnest_tokens(input = text, output = word) %>%
filter(!word %in% c(stop_words$word, "jura")) %>%
group_by(id) %>%
summarise(text = paste(word, collapse = " "))

#     id                              text
#  <int>                             <chr>
#1     1  tablet cleaning hydraulic system
#2     2 tablet cleaning mambojumbo system

另一种方法如下。在这种情况下，我没有使用unnest_tokens().

library(magrittr)
library(stringi)
library(tidytext)

data(stop_words)

gsub(x = mydata$text, pattern = "[0-9]+|[[:punct:]]|\\(.*\\)", replacement = "") %>%
stri_split_regex(str = ., pattern = " ", omit_empty = TRUE) %>%
lapply(function(x){
    foo <- x[which(!x %in% c(stop_words$word, "Jura"))] %>%
           paste(collapse = " ")
    foo}) %>%
unlist

#[1] "Tablet cleaning hydraulic system"  "Tablet cleaning mambojumbo system"
于 2017-12-01T15:38:46.723 回答
2

有多种方法可以做到这一点。如果您只想依赖基本 R，您可以稍微转换@jazurro 的答案并使用它gsub()来查找和替换您要删除的文本模式。

我将通过使用两个正则表达式来做到这一点：第一个匹配括号和数值的内容，而第二个将删除停用词。第二个正则表达式必须根据您要删除的停用词来构建。如果我们将它们全部放在一个函数中，您可以使用以下命令轻松地将其应用于所有字符串sapply：

mytextdata <- read.csv("123.csv", header=FALSE, stringsAsFactors=FALSE)

custom_filter <- function(string, stopwords=c()){
  string <- gsub("[-0-9]+|\\(.*\\) ", "", string)
  # Create something like:  "\\b( the|Jura)\\b"
  new_regex <- paste0("\\b( ", paste0(stopwords, collapse="|"), ")\\b")
  gsub(new_regex, "", string)
}

stopwords <- c("the", "Jura")
custom_filter(mytextdata[1], stopwords)
# [1] "Tablet for cleaning hydraulic system  "
于 2017-12-01T18:16:18.180 回答