问题标签 [opennmt]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
1132 浏览

python - Pytorch 的 OpenNMT 问题:cPickle.UnpicklingError: invalid load key, ''

我正在尝试使用链接中的说明运行 OpenNMT 项目:http: //forum.opennmt.net/t/text-summarization-on-gigaword-and-rouge-scoring/85/6

我正在使用 Python 2.7 并从 github 存储库安装了 pytorch。
我正在尝试使用 OpenNMT 的预构建模型运行程序,该模型已从以下网址下载:http: //opennmt.net/Models/

我尝试了命令:

得到以下错误:

请让我知道我需要做什么,以便我可以使用该模型并检查 OpenNMT 库。

0 投票
1 回答
400 浏览

lua - GPU 的 Lua 和 Torch 问题

我正在尝试从 OpenNMT 运行基于 Lua 的程序。我已经按照这里的程序:http: //forum.opennmt.net/t/text-summarization-on-gigaword-and-rouge-scoring/85

我使用了以下命令:

我正在使用 8 个 GPU,但该过程仍然非常慢,就好像该过程正在 CPU 上工作一样。请让我知道优化 GPU 使用的解决方案可能是什么。
以下是 GP 使用情况的统计数据:
GPU统计

请让我知道如何使用完整的 GPU 使该过程运行得更快。我可以使用 11GB,但该过程仅消耗 2 GB 或更少。因此,这个过程非常缓慢。

0 投票
1 回答
892 浏览

machine-translation - OpenNMT-py 用于德语翻译的低 BLEU 分数

我在 Europarl 上训练了从英语到德语以及从意大利语到德语的 OpenNLP-py 模型,我的 BLEU 分数非常低:英语 -> 德语为 8.13,意大利语 -> 德语为 4.79。

由于我(还)不是神经网络专家,因此我采用了库提供的默认配置。在这两种情况下,训练 13 个 epoch 大约需要 20 小时。在这两种情况下,我都使用了 80% 的数据集进行训练,10% 用于验证,10% 用于测试。

以下是我用于创建意大利语 -> 德语模型的命令,我对另一个模型使用了类似的命令序列。任何人都可以就如何提高我的模型的有效性给我任何建议吗?

0 投票
1 回答
615 浏览

tensorflow - 显式 tensorflow 会话在 Tensorflow/nmt 中给出获取错误

这种 tf.session 工作正常:

但我必须保持持久会话以供重用。因此,我没有通过“with”语句创建 tf.session,而是创建了一个 under:

但这会产生以下错误(在 model_helper.load_model 中):有人可以建议如何加载可以重用的显式会话吗?

文件“/home/pksingh/sans/app/nmt/model_helper.py”,第 444 行,在 load_model session.run(tf.tables_initializer()) 文件“/usr/local/lib/python2.7/dist-packages/ tensorflow/python/client/session.py”,第 889 行,运行中 run_metadata_ptr) 文件“/usr/local/lib/python2.7/dist-packages/tensorflow/python/client/session.py”,第 1103 行,在_run self._graph, fetches, feed_dict_tensor, feed_handles=feed_handles) 文件“/usr/local/lib/python2.7/dist-packages/tensorflow/python/client/session.py”,第 414 行,在 init self._fetch_mapper = _FetchMapper.for_fetch(fetches) 文件“/usr/local/lib/python2.7/dist-packages/tensorflow/python/client/session.py”,第 242 行,for_fetch 返回 _ElementFetchMapper(fetches,contraction_fn) 文件“/usr /local/lib/python2.7/dist-packages/tensorflow/python/client/session.py",第 278 行,在 init 'Tensor. (%s)' % (fetch, str(e))) 中 ValueError:Fetch 参数不能被解释为张量. (操作名称:“init_all_tables” op:“NoOp”不是该图的元素。)

0 投票
2 回答
9728 浏览

python-3.x - 用户警告:log_softmax 的隐式维度选择已被弃用

我正在使用 Mac OS el capitán,我正在尝试遵循OpenNMT pytorch版本的快速入门教程。在训练步骤中,我收到以下警告消息:

第 1 步:预处理数据(按预期工作)

第 2 步:训练模型(产生警告消息)

有没有人遇到过这个警告或有任何解决方法的指示?

0 投票
1 回答
234 浏览

lua - 在 translate.lua 中将源输入从文件更改为字符串

我是 lua 新手,我想知道是否可以在 translate.lua -src 上发送一个字符串,而不是该字符串存在的文件。在发布之前我已经搜索了很多,但我无法找到类似的东西。我的主要问题是机器翻译变得越来越慢,因为我必须从文件中读取/打开。先感谢您!

例如:-src /TestFolder/TestFolder/TestFolder/TestFolder/TestFolder/TestFolder/TestFolder/test.txt;而不是文件直接添加一个字符串。

0 投票
2 回答
4944 浏览

python - 如何在 Windows 10 conda 上安装手电筒音频?

在安装了 PyTorch 的 Anaconda Python 3.6.7 中,在 Windows 10 上,我执行以下操作:

然后从https://github.com/pytorch/audio重新下载

它运行了一段时间并像这样结束:

我正在尝试在 Windows 上重现这个 OpenNMT-py 语音训练演示:http: //opennmt.net/OpenNMT-py/speech2text.html

0 投票
0 回答
532 浏览

python - 如何运行 OpenNMT-py 模型来翻译 jupyter notebook 中的给定字符串?

文档只提到使用命令行来运行repotranslate.py中已经给出的脚本OpenNMT-py,即使用

python translate.py -model model_name.pt -src data/src-test.txt -output pred.txt

这很好,但是我如何使用该onmt库将经过训练的模型加载到 jupyter 笔记本中并在旅途中进行翻译?我希望它能够在 jupyter 中做这样的事情:

我找不到任何有关如何执行此操作的文档。请帮忙!

0 投票
1 回答
402 浏览

python - 使用 OpenNMT 进行迁移学习

我正在使用 OpenNMT-py 在 MIDI 音乐文件上训练一个变压器模型,但结果很差,因为我只能访问一个与我想研究的风格有关的小数据集。为了帮助模型学习一些有用的东西,我想使用更大的其他音乐风格的数据集进行预训练,然后使用小数据集微调结果。

我想在预训练后冻结变压器的编码器端,让解码器部分自由地进行微调。如何使用 OpenNMT-py 做到这一点?

0 投票
0 回答
19 浏览

python - 在 OpenNMT-py 中查找细胞状态

在加载使用 OpenNMT-py 中的 LSTM 神经元网络训练的模型时,我似乎无法找到细胞状态的值。我只能在使用 torch.load 加载的模型中的“模型”下找到权重矩阵和偏差。有谁知道是否为模型保存了单元状态,如果是,在哪里?