问题标签 [bleu]

是否有一些开放的机器翻译数据，包括用于计算 BLEU 分数的候选和参考数据。候选和参考数据的 100 行数据对我来说可以在 python 中实现 BLEU。谢谢！

如果我有中文单词表：like reference = ['我'，'是'，'好'，'人']，假设 = ['我'，'是'，'善良的'，'人]。我可以使用：nltk.translate.bleu_score.sentence_bleu(references, hypotheses) 进行中文翻译吗？它和英语一样吗？日语呢？我的意思是如果我有像英语这样的单词列表（中文和日语）。谢谢！

“当 1 克的精度很高时，参考往往满足充分性。

当较长的 n-gram 精度较高时，参考往往会考虑流畅性。”

这是什么意思？

在 nltk.translate 的文档中，我可以清楚地看到有这个

可用的功能。但是当我将它用于我的脚本时，它会显示以下错误：

请建议我在做什么错误？或者我在两者之间错过的任何东西。

以下是我的示例代码供参考：

由于 NLTK 的版本而发生此错误。NLTK 3.3 及更高版本支持此模块。看看这里

我的 NLTK 版本是 3.1

我正在尝试计算 bleu score 文本摘要。在此之前，我需要知道 corpus bleu 如何计算给定参考文献和候选人之间的分数。我有 3 个参考和 2 个候选，我在前两个参考和候选 2 的两个参考和参考 3 上调用 corpus bleu。涉及什么样的数学？就像它取平均值还是几何平均值一样，它是什么？如果有人显示计算会很有帮助

我正在尝试将 sentence_bleu 应用于 Pandas 中的列，以评估某些机器翻译的质量。但是它输出的分数是不正确的。谁能看到我的错误？

它输出这个：

第 0 行应等于 1.0，第 1 行应小于 1.0。大概在0.9左右。我究竟做错了什么？

In many seq2seq implementations, I saw that they use accuracy metric in compiling the model and Bleu score only in predictions.

Why they don't use Bleu score in training to be more efficient? if I understand correctly!

我正在使用此处找到的 tst2013.en作为我的测试集来获取测试BLEU分数以与其他以前的模型进行比较。但是，我必须过滤掉一些超过 100 个单词的句子，否则我将没有资源来运行模型。

但是对于稍微修改的测试集，将测试BLEU分数与使用未修改测试集的其他模型进行比较是否可以接受？

我想构建一个热图矩阵，但有一个自定义指标，即 bleu 分数。我有 20 个句子要以这种方式进行比较。

我尝试使用 sns.heatmap 或 sns.clustermap 然后将 sentence_bleu 添加为度量函数，但得到错误未知度量函数。

如何定义可用的自定义指标？

sentence_bleu结合方法 7使用 NLTK函数时SmoothingFunction，最高得分为1.1167470964180197. 而 BLEU 分数被定义为介于0和之间1。

此分数显示与参考完美匹配。我正在使用方法 7，因为我并不总是有长度为 4 的句子，有些可能会更低。使用方法 5 给出相同的结果。其他方法确实给出了 1.0 作为满分。

当我使用单个参考和候选时会发生这种情况，例如：

这给出了分数：1.1167470964180197

我做错了什么，这是预期的行为还是平滑功能的实现中存在错误？