问题标签 [syntaxnet]

我正在尝试使用通用依赖项（https://github.com/UniversalDependencies/UD_English）训练 Syntaxnet。在语法教程中，提到提供了一个 tune_corpus 文件。但没有任何解释。在通用依赖中，有三个文件，train、test和dev文件。我应该将训练数据拆分为 80/20 并将 20 用于调整吗？这是一个很好的假设还是我们需要一个不同的文件？

当我们运行时models/syntaxnet/$ echo "sentence to parse" | ./syntaxnet/demo.sh，哪个特定的张量会收到“要解析的句子”？

我制作了一个 SyntaxNet 服务器（AWS、django）来帮助我完成其他对话任务。每次我向我的服务器发送一个句子查询时，大约需要 3.5 秒才能得到解析的句子。

这对我的任务来说还不够快。所以我试图找到瓶颈在哪里。我发现import tensorflow as tf需要 0.8sec ，实际上需要 1.6 秒（2*0.8 秒），因为 SyntaxNet 有两个步骤（POS 标记和解析），甚至在它加载参数和构建图表之前。

我希望我的服务器始终“清醒”并准备好使用预加载的图形和参数解析句子。所以我尝试调整 SyntaxNet 使其如下工作。会话通过不断地接收用户输入input()并打印计算的张量并且永远不会关闭。

但是，我无法在哪里实施input()部分。当我们运行时， demo.shmodels/syntaxnet/$ echo "sentence to parse" | ./syntaxnet/demo.sh是如何接收标准输入的？换句话说，“要解析的句子”去哪儿了？我在 bash 脚本中找不到任何内容。read

所以我只是直接运行 parser_eval

并试图找到 python 文件syntaxnet/parser_eval.py在哪里接收输入。

似乎下面的 parser.evaluation['documents'] 以某种方式接收标准输入。

我也追踪了graph_builder.py, gen_parser_ops.py，但还没有找到哪个特定的张量或变量接收标准输入语句。

您能否解释一下 SyntaxNet 在哪里接收标准输入语句？

如果您能回答一些相关问题，这也会很有帮助。

• 如何while True:在 parser_eval.py 中放置循环（我在 尝试了一些部分parser_eval.py，但它只接收一次标准输入。）
• tensorflow 服务可以解决这个问题吗？

提前致谢。

我使用 docker 文件 - Dockerfile 构建。它运行两个小时。然而，最后它显示——

执行了 17 个测试中的 0 个：跳过了 17 个。

我假设 docker build 没有正确执行，因为我也无法做到 -

echo 'Bob 给 Alice 带来了披萨。| 语法网/demo.sh

这再次导致错误。有没有其他人也面临同样的问题？

我试图弄清楚使用 Syntaxnet 可以在长文档的文本分析中获得哪些改进，而不是像字数、句子长度等“愚蠢”的东西。

目标是获得更准确的语言度量（例如“语气”或“复杂性”），以量化较长（更）文档（如报纸文章或信件/备忘录）的属性。

我想弄清楚的是，一旦 POS 标记结束，如何处理 Syntaxnet 输出。人们使用什么类型的东西来处理 Syntaxnet 输出？

理想情况下，我正在寻找一个示例工作流，将 Syntaxnet 输出转换为可用于统计分析的定量数据。

另外，有人能指出我的来源，显示从使用 Syntaxnet 的“智能”分析中得出的推论与通过字数、句子长度等可以获得的推论相比如何？

我正在尝试使用语法网，并且我已经完成了大部分流程。如果出现错误，请将 bazel 版本升级到 0.43（Ubuntu 16.04 Ver，Anaconda python 2.7）。但是，我在使用 ./configure 部分时遇到了麻烦。我正在通过 tensorflow github 阅读官方说明。

以下日志将帮助您了解我的机器上发生了什么。感谢您的建议

我根据他们的文档在 OS X El Capitan 上安装了 SyntaxNet 。我正在使用 Python 2.7。当我运行演示时，我收到错误提示 TypeError: 接受两个参数，但给出了 3 个。任何帮助表示赞赏。

我正在从 SyntaxNet 的工作目录调用以下命令：

echo "This is test."|syntaxnet/demo.sh

错误消息的详细信息如下所示：

我无法在我的 MacBook Pro 上编译 SyntaxNet。

我在这里遵循了 SyntaxNet 安装步骤：https ://github.com/tensorflow/models/tree/master/syntaxnet#installation

该bazel test --linkopt=-headerpad_max_install_names syntaxnet/... util/utf8/...行因以下输出而失败：

Joachims-MacBook-Pro:syntaxnet joachim$ bazel test --linkopt=-headerpad_max_install_names syntaxnet/... util/utf8/... ERROR: /private/var/tmp/_bazel_joachim/2d6c6b79fd5d2f10f2fd8d8e3457de30/external/org_tensorflow/tensorflow/core/platform/default/build_config/BUILD:108:1: error loading package '@jpeg//': Extension file not found. Unable to load package for '//third_party:common.bzl': BUILD file not found on package path and referenced by '@org_tensorflow//tensorflow/core/platform/default/build_config:jpeg'. ERROR: Analysis of target '//syntaxnet:test_main' failed; build aborted. INFO: Elapsed time: 4.823s ERROR: Couldn't start the build. Unable to run tests.

以下是一些系统信息：

Joachims-MacBook-Pro:syntaxnet joachim$ bazel version Build label: 0.4.3-homebrew Build target: bazel-out/local-opt/bin/src/main/java/com/google/devtools/build/lib/bazel/BazelServer_deploy.jar Build time: Thu Dec 22 15:20:22 2016 (1482420022) Build timestamp: 1482420022 Build timestamp as int: 1482420022

Joachims-MacBook-Pro:syntaxnet joachim$ python --version Python 2.7.11

我提取的来源如下：

Joachims-MacBook-Pro:workspace joachim$ git clone --recurse-submodules https://github.com/tensorflow/models.git Cloning into 'models' ... 'aab099711d7e04034cf742ddb9b00dd15edbe99c'

我需要获得给定二元组或三元组的出现频率——这可能与语法网有关吗？

我使用预训练的语法网络模型（即使用 Parse McParseface）注释了一个语料库。我在理解输出时遇到问题。输出中有两个指标。那些用于 POS 标记和依赖解析？如果是，哪一项是词性标注性能，哪一项是依赖解析性能？

这是输出：

INFO:tensorflow:Total processed documents: 21710 INFO:tensorflow:num correct tokens: 454150 INFO:tensorflow:total tokens: 560993 INFO:tensorflow:Seconds elapsed in evaluation: 1184.63, eval metric: 80.95% INFO:tensorflow:Processed 206 documents INFO:tensorflow:Total processed documents: 21710 INFO:tensorflow:num correct tokens: 291851 INFO:tensorflow:total tokens: 504496 INFO:tensorflow:Seconds elapsed in evaluation: 1193.17, eval metric: 57.85%

我知道数据越多越好，但是训练 SyntaxNet 所需的合理数据量是多少？