char - 如何使用训练好的 char-rnn 生成单词？

Question

当训练 char-rnn 时，网络的权重是固定的。如果我使用相同的第一个字符，我怎样才能得到不同的句子？比如两句“怎么了？” “我能为你做什么？” 有相同的第一个单词“W”。char-rnn 能生成两个不同的句子吗？

Answer 1

是的，你可以通过采样从同一个状态得到不同的结果。看看Andrej Karpathy 的min-char- rnn。示例代码在第 63 行：

def sample(h, seed_ix, n):
  """ 
  sample a sequence of integers from the model 
  h is memory state, seed_ix is seed letter for first time step
  """
  x = np.zeros((vocab_size, 1))
  x[seed_ix] = 1
  ixes = []
  for t in xrange(n):
    h = np.tanh(np.dot(Wxh, x) + np.dot(Whh, h) + bh)
    y = np.dot(Why, h) + by
    p = np.exp(y) / np.sum(np.exp(y))
    ix = np.random.choice(range(vocab_size), p=p.ravel())
    x = np.zeros((vocab_size, 1))
    x[ix] = 1
    ixes.append(ix)
  return ixes

从相同的隐藏向量h和种子 char开始seed_ix，您将在下一个 char - 上获得确定性分布p。但结果是随机的，因为代码执行np.random.choice而不是np.argmax. 如果分布在某个字符处达到峰值，大多数情况下您仍然会得到相同的结果，但在大多数情况下，接下来的几个字符很可能会被采样，从而改变整个生成的序列。

请注意，这不是唯一可能的采样程序：基于温度的采样更受欢迎。例如，您可以查看这篇文章以进行概述。