问题标签 [textsum]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - Tensorflow“发现输入线程死了”
我在 Tensorflow 模型“Textsum”中有一个错误(https://github.com/tensorflow/models/tree/master/textsum)
跑步时
在我最初的训练中,我收到了这个错误:
据我所知,我做的一切都是正确的。我在 CPU 上运行——没有 CUDA。我有一个非常新的 Mac,OS Yosemite,有 8GB 可用空间。蟒蛇 3.6。
我认为第一个错误“输入线程已死”可能与第二个“下一个没有属性”有关。我在 tensorflow 模型主仓库中打开了一个拉取请求
至
在“batch_reader.py”中。这消除了“无属性'next'”和“发现线程死亡”错误,但会导致训练在第一个全局步骤后停止。我等了大约 3 个小时,没有收到来自 tensorboard 或终端的新消息。培训刚刚停止——没有新的进展,没有遇到检查点。
有什么想法吗?我的拉取请求值得一试吗?
python - 版本控制的Tensorflow textsum错误
我正在尝试将训练文本文件转换为 bin 文件以训练 tensorflow 的 textsum。但是我遇到了以下错误:
请帮助我。我正在使用 tensorflow 1.2.0 和 python 2.7.2。
tensorflow - textsum 不收敛
我已经使用项目页面中推荐的参数训练了 5 天的文本总和。我使用了一个包含超过 300 万条文章-摘要对的训练集。
一开始running_average_loss
从9左右慢慢下降到4左右,但之后running_average_loss
数值变化范围很广,可以高达5以上,但有时可以低至1。我用一些文章测试了模型训练集,但输出与引用的摘要相去甚远,我很困惑。有人可以分享他们的经验吗?
我对以下问题感到困惑
running_average_loss
每次跑步都小于10,正常吗?- 由于
running_average_los
s 在很大范围内变化并且没有收敛的迹象,是否过度拟合? - 训练一个足够好的模型需要多长时间或何时停止训练?是否有指示停止训练的标志?
tensorflow - 与客户端“输入大小与签名不匹配”时,Tensorflow 服务错误
我已经开始使用下面显示的 export_textsum.py 文件导出 textsum 模型,当我使用下面的 textsumclient.py 文件连接时,我收到错误:
回溯(最后一次调用):文件“textsum_client.py”,第 90 行,在 tf.app.run() 文件“/usr/local/lib/python2.7/site-packages/tensorflow/python/platform/app .py”,第 48 行,运行中py",第 72 行,在 do_singleDecode 结果 = stub.Predict(request, 5.0) # 5 seconds File "/usr/local/lib/python2.7/site-packages/grpc/beta/_client_adaptations.py",第 324 行,通话中 self._request_serializer,self._response_deserializer)文件“/usr/local/lib/python2.7/site-packages/grpc/beta/_client_adaptations.py”,第 210 行,在 _blocking_unary_unary 中引发 _abortion_error(rpc_error_call) grpc.framework.interfaces。 face.face.AbortionError: AbortionError(code=StatusCode.INVALID_ARGUMENT, details="输入大小与签名不匹配")
我相信这可能与在我的 export_textsum 文件中构建 tf_example 有关,但老实说,到目前为止我还没有运气弄清楚这一点。任何有更多经验的人都知道我在这里做错了什么?如果有任何想法可以帮助我缩小这里发生的确切范围,我愿意接受任何建议。谢谢。
textsumclient.py
export_textsum.py
android - 如何在android中实现预训练的tensorflow textsum模型?
我在 android 中看到了很多使用 tensorflow 进行图像分类的示例,但没有找到任何在 android 中实现 tensorflow 的 TEXTSUM 模型的示例。
tensorflow - Textsum - 解码结果中充满停用词
我正在尝试在我自己的数据上实现Tensorflow Textsum 模型。训练集包含大约 50k 篇文章。我没有更改 textsum 模型中的任何默认设置。目前,我的“平均损失”约为 1.5 到 3.0。但是,解码结果是“the”、“of”、“in”、“to”等列表。
解码
参考
在这个阶段我不期望太精确的结果,但我认为即使是随机单词列表也比'of in and and to to'更好。
python-3.x - 如何为 textsum 准备测试数据?
我已经能够成功运行 TextSum 的预训练模型( Tensorflow 1.2.1)。输出包含 CNN 和 Dailymail 文章的摘要(在测试之前被分块成 bin 格式)。
我还能够为 CNN/Dailymail 文章和词汇文件创建上述 bin 格式的测试数据(按照此处的说明)。但是,我无法创建自己的测试数据来检查摘要的好坏。我尝试修改make_datafiles.py
代码以删除已编码的值。我能够创建标记化文件,但下一步似乎失败了。如果有人可以帮助我了解url_lists
其用途,那就太好了。根据 github 自述文件 -
"对于每个 url 列表 all_train.txt、all_val.txt 和 all_test.txt,从文件中读取相应的标记化故事、小写并写入序列化二进制文件 train.bin、val.bin 和 test.bin。这些将是放在新创建的finished_files目录下。 ”
如何映射诸如http://web.archive.org/web/20150401100102id_/http://www.cnn.com/2015/04/01/europe/france-germanwings-plane-crash-main/之类的 URL到我的数据文件夹中的相应故事?如果有人在这方面取得了成功,请让我知道如何去做。提前致谢!
tensorflow - 为什么多GPU比单GPU慢
我在 4-gpus 和 1-gpu 上训练了 textsum,我发现 4-gpus 比单个 gpu 慢,而且它们的利用率都很低,谁能帮我解决这个问题?