2

我正在尝试将 Brain.js 用于文本生成目的。

请参阅我的 WIP 示例：https ://codepen.io/tomsoderlund/pen/WEPqzE （另请参阅控制台输出）。

我基本上：

  1. 生成所有单词的数组：wordsInOrder
  2. 创建一个dictionaryWords带有排序的唯一单词的数组。
  3. wordsInOrder我从这样创建我的训练集： { input: [0.0326], output: [0.9565] }，当前单词的字典索引（标准化）在哪里，并且input是以下单词的字典索引。output

然后我通过以下方式生成新词：

  1. 从字典中随机选择一个单词。
  2. 然后运行该brainJsNetwork.run([wordValue])函数以生成以下单词。
  3. 从第 1 步开始重复一遍。

但是，它似乎卡在字典中间的单词上，wordValue大约为 0.5：

卡在中间

任何线索是什么问题？

4

1 回答 1

4

我怀疑这是由于您的训练集。这应该将某个输入映射到正确的输出。就像在 Brainjs 颜色对比示例中一样：

net.train([{input: { r: 0.03, g: 0.7, b: 0.5 }, output: { black: 1 }},
       {input: { r: 0.16, g: 0.09, b: 0.2 }, output: { white: 1 }},
       {input: { r: 0.5, g: 0.5, b: 1.0 }, output: { white: 1 }}]);

对于输入列表，它给出了正确的分类。然后，如果您运行经过训练的网络，它会给出您输入的类别的可能性：

var output = net.run({ r: 1, g: 0.4, b: 0 });  // { white: 0.99, black: 0.002 }

您从 wordsInOrder 创建训练集。这意味着有些词在你的训练集中出现了多次。像“制造”这样的词多次出现在您的训练集中，具有不同的输出：

made -> If (or the respective wordindex values, normalized to be between 0-1)
made -> It's
made -> outside
made -> in

经过训练的网络将尝试补偿不同的可能结果，并将其输出的可能性平均化。如果然后使用该输出在dictionaryWords数组中查找单词，则更有可能最终得到位于数组中间的单词（例如“not”和“necessarily”）

您需要考虑到神经网络将返回输入属于某个类别的可能性。所以如果你想用它来预测下一个单词，你必须对训练数据进行不同的编码。'made' 有 4 个有效的下一个单词，因此您必须将它们编码为...

{input: { (wordindex of 'made' }, output: { if: 1, its: 1, outside:1, in:1 }}

当然，这意味着您的输出将具有dictionaryWords数组中所有 92 个唯一单词的似然分数。我不确定这个简单的神经网络是否可以用于 92 维的输出。

您是否查看过用于生成文本的马尔可夫链？它可以更容易地模拟哪些转换（从一个单词到下一个单词）比其他转换更有可能。

这是一个解释和一个javascript实现。

于 2017-09-03T07:41:38.633 回答