0

我目前正在尝试调整我的 tensorflow 分类器，它能够将一系列单词标记为正面或负面，以处理更长的序列，而无需重新训练。我的模型是一个 RNN，最大序列长度为 210。一个输入是一个词（300 暗淡），我用 Google 的 word2vec 对这些词进行了向量化，因此我能够输入一个最多 210 个词的序列。现在我的问题是，如何将最大序列长度更改为例如 3000，以对电影评论进行分类。

我的工作模型的最大序列长度固定为 210（tf_version: 1.1.0）：

n_chunks = 210
chunk_size = 300

x = tf.placeholder("float",[None,n_chunks,chunk_size])
y = tf.placeholder("float",None)
seq_length = tf.placeholder("int64",None)


with tf.variable_scope("rnn1"):
        lstm_cell = tf.contrib.rnn.LSTMCell(rnn_size, 
                                            state_is_tuple=True)

        lstm_cell = tf.contrib.rnn.DropoutWrapper (lstm_cell, 
                                                   input_keep_prob=0.8)

        outputs, _ = tf.nn.dynamic_rnn(lstm_cell,x,dtype=tf.float32, 
                                       sequence_length = self.seq_length)

fc = tf.contrib.layers.fully_connected(outputs, 1000, 
                                      activation_fn=tf.nn.relu)

output = tf.contrib.layers.flatten(fc)

#*1
logits = tf.contrib.layers.fully_connected(output, self.n_classes, 
                                            activation_fn=None) 

cost = tf.reduce_mean( tf.nn.softmax_cross_entropy_with_logits 
                                        (logits=logits, labels=y) )
optimizer = tf.train.AdamOptimizer(learning_rate=0.01).minimize(cost)

...
#train
#train_x padded to fit(batch_size*n_chunks*chunk_size)
sess.run([optimizer, cost], feed_dict={x:train_x, y:train_y, 
                                                     seq_length:seq_length})
#predict:
...

pred = tf.nn.softmax(logits)
pred = sess.run(pred,feed_dict={x:word_vecs, seq_length:sq_l})

我已经尝试过哪些修改：

1 用 None 替换 n_chunks 并简单地输入数据

x = tf.placeholder(tf.float32, [None,None,300])
#model fails to build
#ValueError: The last dimension of the inputs to `Dense` should be defined. 
#Found `None`.
# at *1

...
#all entrys in word_vecs still have got the same length for example 
#3000(batch_size*3000(!= n_chunks)*300)
pred = tf.nn.softmax(logits)
pred = sess.run(pred,feed_dict={x:word_vecs, seq_length:sq_l})

2 更改 x 然后恢复旧模型：

x = tf.placeholder(tf.float32, [None,n_chunks*10,chunk_size]
...
saver = tf.train.Saver(tf.all_variables(), reshape=True)
saver.restore(sess,"...")
#fails as well:
#InvalidArgumentError (see above for traceback): Input to reshape is a 
#tensor with 420000 values, but the requested shape has 840000
#[[Node: save/Reshape_5 = Reshape[T=DT_FLOAT, Tshape=DT_INT32, 
#_device="/job:localhost/replica:0/task:0/cpu:0"](save/RestoreV2_5, 
#save/Reshape_5/shape)]]

# run prediction

如果可能的话，您能否向我提供任何工作示例或解释为什么它不是？

4

1 回答 1

0

我只是想知道你为什么不给 n_chunk 赋值 3000？

在您的第一次尝试中，您不能使用两个 None，因为 tf 不能为每个放置多少维度。第一个维度设置为无，因为它取决于批量大小。在您的第二次尝试中，您只需更改一个位置，使用 n_chunks 的其他位置可能与 x 占位符冲突。

于 2017-07-15T03:30:56.963 回答