我正在使用 LSTM 训练编码器-解码器，用于在 Amazon Kindle 数据集上生成抽象的评论摘要。对于每个输入，输出摘要略有不同，但它们会重复生成几个单词。
我已经尝试在每个解码器时间步对 softmax 概率进行随机抽样。因此，每个输入的结果都不同，但与输入文本无关。在每个时间步绘制 softmax 概率的直方图显示了相似的分布，尽管数字略有不同。我试过降低学习率
输入：我很喜欢这本书写得很好会再读一次很好读
输出：SOS 不能强调 压力 压力 压力 撕裂 撕裂 弯曲
我正在使用 LSTM 训练编码器-解码器，用于在 Amazon Kindle 数据集上生成抽象的评论摘要。对于每个输入，输出摘要略有不同，但它们会重复生成几个单词。
我已经尝试在每个解码器时间步对 softmax 概率进行随机抽样。因此，每个输入的结果都不同，但与输入文本无关。在每个时间步绘制 softmax 概率的直方图显示了相似的分布，尽管数字略有不同。我试过降低学习率
输入：我很喜欢这本书写得很好会再读一次很好读
输出：SOS 不能强调 压力 压力 压力 撕裂 撕裂 弯曲