1

我是 R 新手，我正在使用 widyr 进行文本挖掘。我成功地使用了这里找到的方法来获取每个文本部分中同时出现的单词及其 phi 系数的列表。

代码如下：

word_cors <- review_words %>%
  group_by(word) %>%
  pairwise_cor(word, title, sort = TRUE) %>%
  filter(correlation > .15)

我知道我还可以使用以下代码生成包含同时出现的单词及其出现次数的数据框：

word_pairs <- review_words %>%
  pairwise_count(word, title, sort = TRUE)

我需要的是一个表，其中包含 phi 系数和每对单词的出现次数。我一直在研究 pairwise_cor 和 pairwise_count 但仍然不知道如何组合它们。如果我理解正确，连接只考虑一列进行匹配，所以我不能可靠地使用常规连接，因为在 item1 列中可能有多个具有相同单词的对。

这可能使用widyr吗？如果没有，是否有另一个包可以让我这样做？

这是完整的代码：

#Load packages
pacman::p_load(XML, dplyr, stringr, rvest, httr, xml2, tidytext, tidyverse, widyr)

#Load source material
prod_reviews_df <- read_csv("SOURCE SPREADSHEET.csv")

#Split into one word per row
review_words <- prod_reviews_df %>%
  unnest_tokens(word, comments, token = "words", format = "text", drop = FALSE) %>%
  anti_join(stop_words, by = c("word" = "word"))

#Find phi coefficient
word_cors <- review_words %>%
  group_by(word) %>%
  pairwise_cor(word, title, sort = TRUE) %>%
  filter(correlation > .15)

#Write data to CSV
write.csv(word_cors, "WORD CORRELATIONS.csv")

我想添加pairwise_count，但我需要它与phi系数一起使用。

谢谢！

4

2 回答 2

3

如果您正在使用 tidy data 原则和 tidyverse 工具，我建议您一路走好 :) 并使用 dplyr 进行您感兴趣的连接。您可以使用left_join和 连接计算，pairwise_cor()并且pairwise_count()可以从一个到另一个，如果你喜欢的话。 

library(dplyr)
library(tidytext)
library(janeaustenr)
library(widyr)

austen_section_words <- austen_books() %>%
  filter(book == "Pride & Prejudice") %>%
  mutate(section = row_number() %/% 10) %>%
  filter(section > 0) %>%
  unnest_tokens(word, text) %>%
  filter(!word %in% stop_words$word)

austen_section_words %>%
  group_by(word) %>%
  filter(n() >= 20) %>%
  pairwise_cor(word, section, sort = TRUE) %>%
  left_join(austen_section_words %>%
              pairwise_count(word, section, sort = TRUE),
            by = c("item1", "item2"))

#> # A tibble: 154,842 x 4
#>        item1     item2 correlation     n
#>        <chr>     <chr>       <dbl> <dbl>
#>  1    bourgh        de   0.9508501    29
#>  2        de    bourgh   0.9508501    29
#>  3    pounds  thousand   0.7005808    17
#>  4  thousand    pounds   0.7005808    17
#>  5   william       sir   0.6644719    31
#>  6       sir   william   0.6644719    31
#>  7 catherine      lady   0.6633048    82
#>  8      lady catherine   0.6633048    82
#>  9   forster   colonel   0.6220950    27
#> 10   colonel   forster   0.6220950    27
#> # ... with 154,832 more rows
于 2017-09-21T02:23:18.407 回答
0

我今天发现并使用了合并，它似乎已经使用了两个相关的列来合并数据。我不确定如何检查准确性，但我认为它有效。

于 2017-09-20T19:00:31.420 回答