python - 基于词典的情感分析的准确性

Question

我正在为我获得的一组 Twitter 数据执行不同的情绪分析技术。它们是基于词典的（Vader Sentiment 和 SentiWordNet），因此不需要预先标记的数据。

我想知道是否有一种方法（如 F-Score、ROC/AUC）来计算分类器的准确性。我知道的大多数方法都需要一个目标来比较结果。

Answer 1

我所做的研究是从这些推文中随机抽取一小部分样本，然后手动将它们标记为正面或负面。然后，您可以使用 VADER 或 SentiWordNet 计算归一化分数，并为每个计算混淆矩阵，这将为您提供 F 分数等。

尽管这可能不是一个特别好的测试，因为它取决于您使用的推文样本。例如，您可能会发现 SentiWordNet 将比 VADER 更多的事物归类为负数，因此如果您的随机样本大多为负数，则似乎具有更高的准确性。

Answer 2

简短的回答是否定的，我不这么认为。（因此，如果其他人发布方法，我会非常感兴趣。）

使用一些无监督机器学习技术，您可以获得一些误差测量值。例如，自动编码器为您提供 MSE（表示低维表示可以重建回原始高维形式的准确度）。

但是对于情感分析，我能想到的就是使用多种算法并衡量它们在相同数据上的一致性。如果他们都同意某种特定的情绪，则将其标记为更可靠的预测，如果他们都不同意，则将其标记为不可靠的预测。（这依赖于没有一个算法具有相同的偏差，这可能不太可能。）

通常的方法是标记数据的一定百分比，并假设/希望它代表整个数据。