问题标签 [deeppavlov]

使用 Deeppavlov 构建知识库问答 (KBQA) 模型时出现错误。有关该问题的信息如下：

DeepPavlov 版本：Version: 0.14.0

蟒蛇版本：Python 3.6.13

操作系统：Windows 10

问题：构建知识库问答 (KBQA) 模型时 numpy 出错。

配置文件的内容或名称：deeppavlov.configs.kbqa.kbqa_cq

导致错误的命令：

错误（包括完整回溯）：

如何解决此错误？

我已经成功安装了 DeepPavlov(ner_ontonotes_bert_mult) 的多语言 NER 模型。我想用阿尔巴尼亚语的新数据（与他们在文档页面中建议的格式相同）重新训练这个模型。这可能吗（用不同语言的数据重新训练来自 DeepPavlov 的多语言 NER 模型） ，或者只有当我们有英文数据时，再训练才有效？？

我们目前正在使用 deeppavlov 的框架来提取自定义命名实体。我们已经在标记数据集上训练了一个模型，但遇到了意外的内存使用问题。这些问题导致培训/评估过程终止。

由于某种原因，在训练和评估阶段，内存使用量猛增：

内存峰值示例

内存和 CPU 峰值示例

最大可用内存为 8GB。我们有可用的 GPU，并且在训练和预测/评估脚本中都有一行：os.environ['CUDA_VISIBLE_DEVICES'] = '0'。训练数据集只有 700 个句子。最初它在训练期间崩溃，但我将批量大小从 16 减少到 4 并且它设法经历了几个时期（最后仍然崩溃）。

使用 evaluate_model 函数或 python -m deeppavlov evaluate 命令更奇怪。从训练有素的 NER 模型加载词汇后，该过程被终止（我假设是由于内存限制）。又名最后一次信息登录在第 115 行的“deeppavlov.core.data.simple_vocab”。

您能否指出可能的高内存使用量的来源以及如何解决它？似乎即使我指定 os.environ['CUDA_VISIBLE_DEVICES'] = '0'，pod 仍在使用 CPU。

我目前有一个在 docker 容器中运行并使用rise RESTAPI 的 DeepPavlov 机器人。

我的模型基于英语问答机器人配置，但基于我自己的问答数据进行了训练。它具有相同的链接器配置。

它以 proba2labels/answers_vocab 组件结束：

当我查询它时，我得到了我个人以前从未见过的格式的响应：

如果它作为有效的 JSON 返回，它会更有用。有没有办法配置 DeepPavlov 来做到这一点？

我有 deeppavlov 微调模型。有没有办法转换为变形金刚可以使用的模型（https://github.com/huggingface/transformers）？

当我想用我的自定义数据集训练这个“ner_ontonotes_bert_mult”模型时，它会显示下面的错误。（我已将我的数据集保存~\.deeppavlov\downloads\ontonotes 在 [deeppavlov 文档][1] 中提到的文件夹中。）

清理数据集后，上述错误消失了，但这是新错误。新错误

任何人都可以解释如何解决它。[1]：http ://docs.deeppavlov.ai/en/master/features/models/ner.html

我正在编写一个 Java 应用程序，它通过 REST API 向在本地网络中运行的命名实体识别服务 ( deeppavlov ) 发出请求。

所以我通过以下方式请求数据：

结果我得到：

[[["欢迎","to","莫斯科",",","约翰"],["O","O","B-GPE","O","B-PERSON"]] ] 类 java.lang.String

它是一个字符串，我不知道如何将其转换为对象、数组、映射或列表以进行迭代。请帮忙。

如何自定义训练模型“ner_ontonotes_bert_mult”。我想用我自己的数据集训练模型，这些数据集有一些不同的标签。如何训练模型并使用它？

当我训练我的模型时，它只接受 40 个数据，之后训练自动停止。如何解决这个问题。

我想获得 deeppavlov NER 标记。现在我有这个代码：

但是标记看起来是这样的：

我想要一种python字典。所以我尝试了这个：

有错误TypeError: 'zip' object is not subscriptable

和这个：

有错误ValueError: dictionary update sequence element #0 has length 1; 2 is required

有没有办法将 deeppavlov 标记保存为 python 字典？

更新。我想看到这样的输出：

我有以下查询

1. 数据集格式（是如何拆分训练、测试和有效数据）
2. 放置数据集的位置
3. 如何更改数据集阅读器的路径
4. 如何将模型保存在我自己的目录中
5. 以及如何使用训练好的模型

编辑

我使用此命令更改配置文件中的数据集路径和模型路径。我的模型保存在此位置，但它在训练期间没有使用我的数据集，而是在该文件夹中下载自己的数据集并使用它。