问题标签 [syntaxnet]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
performance - Syntaxnet tune_corpus
我正在尝试使用通用依赖项(https://github.com/UniversalDependencies/UD_English)训练 Syntaxnet。在语法教程中,提到提供了一个 tune_corpus 文件。但没有任何解释。在通用依赖中,有三个文件,train、test和dev文件。我应该将训练数据拆分为 80/20 并将 20 用于调整吗?这是一个很好的假设还是我们需要一个不同的文件?
python - SyntaxNet:parser_eval.py 如何接收标准输入?
当我们运行时models/syntaxnet/$ echo "sentence to parse" | ./syntaxnet/demo.sh
,哪个特定的张量会收到“要解析的句子”?
我制作了一个 SyntaxNet 服务器(AWS、django)来帮助我完成其他对话任务。每次我向我的服务器发送一个句子查询时,大约需要 3.5 秒才能得到解析的句子。
这对我的任务来说还不够快。所以我试图找到瓶颈在哪里。我发现import tensorflow as tf
需要 0.8sec ,实际上需要 1.6 秒(2*0.8 秒),因为 SyntaxNet 有两个步骤(POS 标记和解析),甚至在它加载参数和构建图表之前。
我希望我的服务器始终“清醒”并准备好使用预加载的图形和参数解析句子。所以我尝试调整 SyntaxNet 使其如下工作。会话通过不断地接收用户输入input()
并打印计算的张量并且永远不会关闭。
但是,我无法在哪里实施input()
部分。当我们运行时, demo.shmodels/syntaxnet/$ echo "sentence to parse" | ./syntaxnet/demo.sh
是如何接收标准输入的?换句话说,“要解析的句子”去哪儿了?我在 bash 脚本中找不到任何内容。read
所以我只是直接运行 parser_eval
并试图找到 python 文件syntaxnet/parser_eval.py在哪里接收输入。
似乎下面的 parser.evaluation['documents'] 以某种方式接收标准输入。
我也追踪了graph_builder.py
, gen_parser_ops.py
,但还没有找到哪个特定的张量或变量接收标准输入语句。
您能否解释一下 SyntaxNet 在哪里接收标准输入语句?
如果您能回答一些相关问题,这也会很有帮助。
- 如何
while True:
在 parser_eval.py 中放置循环(我在 尝试了一些部分parser_eval.py
,但它只接收一次标准输入。) - tensorflow 服务可以解决这个问题吗?
提前致谢。
docker - 使用 Dockerfile 构建语法网络时出错
我使用 docker 文件 - Dockerfile 构建。它运行两个小时。然而,最后它显示——
执行了 17 个测试中的 0 个:跳过了 17 个。
我假设 docker build 没有正确执行,因为我也无法做到 -
echo 'Bob 给 Alice 带来了披萨。| 语法网/demo.sh
这再次导致错误。有没有其他人也面临同样的问题?
syntaxnet - 将 Syntaxnet 集成到长(er)文档分析中的工作流程
我试图弄清楚使用 Syntaxnet 可以在长文档的文本分析中获得哪些改进,而不是像字数、句子长度等“愚蠢”的东西。
目标是获得更准确的语言度量(例如“语气”或“复杂性”),以量化较长(更)文档(如报纸文章或信件/备忘录)的属性。
我想弄清楚的是,一旦 POS 标记结束,如何处理 Syntaxnet 输出。人们使用什么类型的东西来处理 Syntaxnet 输出?
理想情况下,我正在寻找一个示例工作流,将 Syntaxnet 输出转换为可用于统计分析的定量数据。
另外,有人能指出我的来源,显示从使用 Syntaxnet 的“智能”分析中得出的推论与通过字数、句子长度等可以获得的推论相比如何?
tensorflow - 语法网./配置错误
我正在尝试使用语法网,并且我已经完成了大部分流程。如果出现错误,请将 bazel 版本升级到 0.43(Ubuntu 16.04 Ver,Anaconda python 2.7)。但是,我在使用 ./configure 部分时遇到了麻烦。我正在通过 tensorflow github 阅读官方说明。
以下日志将帮助您了解我的机器上发生了什么。感谢您的建议
python-2.7 - 命令行 SyntaxNet 演示不起作用:TypeError: __init__() 最多接受 2 个参数(给定 3 个)
我根据他们的文档在 OS X El Capitan 上安装了 SyntaxNet 。我正在使用 Python 2.7。当我运行演示时,我收到错误提示 TypeError: 接受两个参数,但给出了 3 个。任何帮助表示赞赏。
我正在从 SyntaxNet 的工作目录调用以下命令:
echo "This is test."|syntaxnet/demo.sh
错误消息的详细信息如下所示:
macos - 在 OS X 上编译 SyntaxNet 失败并显示“错误加载包'@jpeg//':找不到扩展文件”
我无法在我的 MacBook Pro 上编译 SyntaxNet。
我在这里遵循了 SyntaxNet 安装步骤:https ://github.com/tensorflow/models/tree/master/syntaxnet#installation
该bazel test --linkopt=-headerpad_max_install_names syntaxnet/... util/utf8/...
行因以下输出而失败:
Joachims-MacBook-Pro:syntaxnet joachim$ bazel test --linkopt=-headerpad_max_install_names syntaxnet/... util/utf8/...
ERROR: /private/var/tmp/_bazel_joachim/2d6c6b79fd5d2f10f2fd8d8e3457de30/external/org_tensorflow/tensorflow/core/platform/default/build_config/BUILD:108:1: error loading package '@jpeg//': Extension file not found. Unable to load package for '//third_party:common.bzl': BUILD file not found on package path and referenced by '@org_tensorflow//tensorflow/core/platform/default/build_config:jpeg'.
ERROR: Analysis of target '//syntaxnet:test_main' failed; build aborted.
INFO: Elapsed time: 4.823s
ERROR: Couldn't start the build. Unable to run tests.
以下是一些系统信息:
Joachims-MacBook-Pro:syntaxnet joachim$ bazel version
Build label: 0.4.3-homebrew
Build target: bazel-out/local-opt/bin/src/main/java/com/google/devtools/build/lib/bazel/BazelServer_deploy.jar
Build time: Thu Dec 22 15:20:22 2016 (1482420022)
Build timestamp: 1482420022
Build timestamp as int: 1482420022
Joachims-MacBook-Pro:syntaxnet joachim$ python --version
Python 2.7.11
我提取的来源如下:
Joachims-MacBook-Pro:workspace joachim$ git clone --recurse-submodules https://github.com/tensorflow/models.git
Cloning into 'models'
...
'aab099711d7e04034cf742ddb9b00dd15edbe99c'
syntaxnet - SyntaxNet - 我可以从语法网络中获取给定二元组/三元组的计数吗?
我需要获得给定二元组或三元组的出现频率——这可能与语法网有关吗?
tensorflow - 注释语料库时如何解释 synaxnet 的输出
我使用预训练的语法网络模型(即使用 Parse McParseface)注释了一个语料库。我在理解输出时遇到问题。输出中有两个指标。那些用于 POS 标记和依赖解析?如果是,哪一项是词性标注性能,哪一项是依赖解析性能?
这是输出:
INFO:tensorflow:Total processed documents: 21710
INFO:tensorflow:num correct tokens: 454150
INFO:tensorflow:total tokens: 560993
INFO:tensorflow:Seconds elapsed in evaluation: 1184.63, eval metric: 80.95%
INFO:tensorflow:Processed 206 documents
INFO:tensorflow:Total processed documents: 21710
INFO:tensorflow:num correct tokens: 291851
INFO:tensorflow:total tokens: 504496
INFO:tensorflow:Seconds elapsed in evaluation: 1193.17, eval metric: 57.85%
machine-learning - 训练 SyntaxNet 需要多少数据?
我知道数据越多越好,但是训练 SyntaxNet 所需的合理数据量是多少?