当我们运行时models/syntaxnet/$ echo "sentence to parse" | ./syntaxnet/demo.sh，哪个特定的张量会收到“要解析的句子”？
我制作了一个 SyntaxNet 服务器（AWS、django）来帮助我完成其他对话任务。每次我向我的服务器发送一个句子查询时，大约需要 3.5 秒才能得到解析的句子。
这对我的任务来说还不够快。所以我试图找到瓶颈在哪里。我发现import tensorflow as tf需要 0.8sec ，实际上需要 1.6 秒（2*0.8 秒），因为 SyntaxNet 有两个步骤（POS 标记和解析），甚至在它加载参数和构建图表之前。
我希望我的服务器始终“清醒”并准备好使用预加载的图形和参数解析句子。所以我尝试调整 SyntaxNet 使其如下工作。会话通过不断地接收用户输入input()并打印计算的张量并且永远不会关闭。
import tensorflow as tf
def multiplication(sess):
x1 = int(input())
matrix1 = tf.constant([[x1, x1]]
matrix2 = tf.constant([[2],[2]])
product = sess.run([tf.matmul(matrix1, matrix2)])
return product
with tf.Session() as sess:
while True:
print(multiplication(sess))
------------------------------------------
1
[array([[4]], dtype=int32)]
2
[array([[8]], dtype=int32)]
3
[array([[12]], dtype=int32)]
但是，我无法在哪里实施input()部分。当我们运行时， demo.shmodels/syntaxnet/$ echo "sentence to parse" | ./syntaxnet/demo.sh是如何接收标准输入的？换句话说，“要解析的句子”去哪儿了？我在 bash 脚本中找不到任何内容。read
所以我只是直接运行 parser_eval
python bazel-bin/syntaxnet/parser_eval \
--input=stdin \
--output=stdout-conll \
--hidden_layer_sizes=64 \
--arg_prefix=brain_tagger \
--graph_builder=structured \
--task_context=syntaxnet/models/parsey_mcparseface/context.pbtxt \
--model_path=syntaxnet/models/parsey_mcparseface/tagger-params \
--slim_model \
--batch_size=1024 \
--alsologtostderr \
并试图找到 python 文件syntaxnet/parser_eval.py在哪里接收输入。
似乎下面的 parser.evaluation['documents'] 以某种方式接收标准输入。
def Eval(sess):
...
...
while True:
tf_eval_epochs, tf_eval_metrics, tf_documents = sess.run([
parser.evaluation['epochs'],
parser.evaluation['eval_metrics'],
parser.evaluation['documents'],
])
if len(tf_documents):
logging.info('Processed %d documents', len(tf_documents))
num_documents += len(tf_documents)
sess.run(sink, feed_dict={sink_documents: tf_documents})
num_tokens += tf_eval_metrics[0]
num_correct += tf_eval_metrics[1]
if num_epochs is None:
num_epochs = tf_eval_epochs
elif num_epochs < tf_eval_epochs:
break
...
...
def main(unused_argv):
print >> sys.stderr, "parser_eval.py main start", time.time()
logging.set_verbosity(logging.INFO)
temp_counter = 0
while True:
with tf.Session() as sess:
Eval(sess, temp_counter)
temp_counter +=1
if __name__ == '__main__':
tf.app.run()
我也追踪了graph_builder.py, gen_parser_ops.py，但还没有找到哪个特定的张量或变量接收标准输入语句。
您能否解释一下 SyntaxNet 在哪里接收标准输入语句？
如果您能回答一些相关问题，这也会很有帮助。
- 如何
while True:在 parser_eval.py 中放置循环（我在 尝试了一些部分parser_eval.py，但它只接收一次标准输入。） - tensorflow 服务可以解决这个问题吗？
提前致谢。