r - 用tidytext实现txt格式的tokenize

Question

我正在尝试使用 .txt 文件来处理 tidytext，其texto_revision结构如下：

# A tibble: 254 x 230
   X1     X2     X3     X4    X5    X6    X7    X8    X9    X10   X11   X12   X13   X14   X15   X16  
   <chr>  <chr>  <chr>  <chr> <chr> <chr> <chr> <chr> <chr> <chr> <chr> <chr> <chr> <chr> <chr> <chr>
 1 la     expro~ de     la    tier~ ocur~ con   frec~ dura~ el    proc~ rapi~ de    la    urba~ en   
 2 como   las    difer~ en    el    moti~ del   cons~ cons~ en    esta~ unid~ y     china afec~ la   
 3 las    desig~ etnic~ en    los   patr~ de    cons~ (pre~ de    vest~ joye~ auto~ han   sido  obje~
 4 este   artic~ exami~ el    impa~ de    vari~ dife~ indi~ en    la    prop~ de    los   cons~ a    
 5 este   artic~ inves~ la    infl~ de    los   regi~ poli~ sobre la    impo~ 
 #   ...

尝试使用unnest_tokens格式时，使用以下代码：

library(tidytext)

texto_revision %>%
    unnest_tokens(word, text)

我收到以下错误：

错误：check_input(x) 中的错误：输入必须是任意长度的字符向量或字符向量列表，每个字符向量的长度为 1。

为了尝试纠正错误并继续进行标记化，我尝试使用以下代码将文本转换为数据框：

text_df <- as.data.frame(texto_revision)

但我仍然收到以下错误

check_input(x) 中的错误：输入必须是任意长度的字符向量或字符向量列表，每个字符向量的长度为 1。

Answer 1

看起来你的文本已经被标记化了，所以你只需要融合数据框来获得你想要的数据结构。例如，

library(tidyverse)

texto_revision %>%
  gather(document, word)

请参阅tidyr::gather(). _

Answer 2

请注意，unnest_tokens 的语法是“unnest_tokens( [new column name] , [reference column]。”在您的 tibble/数据框中似乎没有“text”列。下面是一个玩具示例来说明：

State <- as.character(c("SC is in the South","NC is in the south", 
                        "NY is in  the north"))
DF <- data.frame(State, stringsAsFactors = FALSE)

> DF
               State
 1 SC is in the South
 2 NC is in the south
 .....
 DF %>% unnest_tokens(word,State)

     word
1      sc
1.1    is
1.2    in
1.3   the
....