问题标签 [lexicon]

我有一个包含 50,176 条推文的数据集（tweets_data: 50176 obs. of 1 variable）。现在，我已经创建了一个自制的词典（formal_lexicon），它由大约 100 万个单词组成，都是正式的语言风格。现在，我想创建一个小代码，每条推文计算该词典中有多少（如果有的话）单词。

推文数据：

正式词典：

因此，输出应如下所示：

应该是一个简单的 for 循环，例如：

我认为“单词”不起作用，如果单词在词典中，我不确定如何在特定列中计数。任何人都可以帮忙吗？

我想在 R 中的 Vader 分析词典/词典中添加一些专业的单词术语和相应的情感值，并在 Python HERE中找到相应的答案。

但是在R中找不到等效的方法，或者在windows包存储库中找不到明显的字典文件来编辑。

这是附加词典的示例片段，我没有更多相关代码，因为这对我来说有点像一堵墙。我唯一的另一个想法是将 Vader 字典加载到另一个情绪分析包中，但如果可能的话，我宁愿避免这种情况。

在执行情感词典时，我在以下代码中遇到错误。如果有人可以在这里指导我，那将非常有帮助。

“'utf-8' 编解码器无法解码字节 0xf3”

错误：

我需要以下代码的帮助，到处都是“您的代码”。任何帮助表示赞赏。谢谢！

#使用词典创建两个词典特征。一个特征“POSLEX”，它的值表示有多少令牌属于正词典。一个特征“NEGLEX”，其值表示有多少令牌属于负词典。

#如果正词典中的单词（例如'like'）在文档中出现N次（例如5次），则为与该值相关联的单词添加正词典特征'POSLEX_word'（例如{'POSLEX_like'：5 }. 类似地，如果否定词典中的一个词（例如'dislike'）在文档中出现 N 次（例如 5 次），则为与该值相关联的那个词添加一个否定词典特征 'NEGLEX_word'（例如 {'NEGLEX_dislike '：5}

#添加一个特征'DOC_LEN'，其值为文档长度的自然对数（使用math.log计算对数）

#添加一个特征'DEICTIC_COUNT'，计算文档中第一和第二人称代词的数量。