问题标签 [spacy-3]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
18 浏览

nlp - 如何在 spacy 中为自定义 NER 标记整个 CSV 列?

我有一个这样的专栏。国家的名字

我想将所有行标记为自定义 NER 的“国家名称”。我如何立即进行注释?

0 投票
0 回答
372 浏览

python - 有没有办法从磁盘使用 spacy-transformers(离线)

我想在互联网访问受限的企业环境中使用 spacy-transformers,所以我必须手动从 huggingfaces 中心下载变压器模型,并让它们在 spacy 中工作。

在此示例中,我尝试使用 en_core_web_trf 预训练模型中的转换器管道组件:

我收到以下错误消息:

如错误消息所述,在缓存路径中找不到请求的文件。有人可以向我解释我必须将哪些文件放在 chache 路径中吗?或者另一种方式来预下载模型并在 spacy 中使用它们。

版本:

空间 3.0.5

spacy-transformers 1.0.2

变压器 4.5.1

0 投票
2 回答
283 浏览

python - pip install --no-build-isolation 不返回这样的选项:--no-build-isolation

以上适用于 Ubuntu,但不适用于 CentOS。

0 投票
1 回答
59 浏览

nlp - 如何为可再次训练的自定义 NER 保存模型?

假设我已经使用名为“FRUIT”的标签训练了我的模型并使用nlp.to_disk("F:/Saved Models/FRUIT_pipeline")

现在,如果我加载这个模型并再次针对名为“SEASON”的标签进行训练,我之前的所有训练都会丢失。如何在多次训练中为多个标签保存它?

0 投票
1 回答
226 浏览

spacy-3 - 无法将旧的 spacy 2.0 数据转换为新的 spacy 3.0 可接受的格式

我正在尝试将旧的 spacy 2.0 数据集转换为新的 spacy 3.0 可接受的格式,但我收到此错误“char_span() got an unexpected keyword argument 'alignment_mode'”错误,我应该如何解决这个错误?我正在使用此代码

运行此脚本后,我收到此错误

TypeError: char_span() 得到了一个意外的关键字参数“alignment_mode”

0 投票
0 回答
119 浏览

python - ValueError:[E024] 找不到监督解析器的最佳移动。在使用 Spacy v3.x 训练自定义 NER 时

在使用 spacy v3.x 训练我的自定义 NER 模型时,

它把我抛到了错误之上。

" ValueError("[E024] 找不到监督解析器的最佳移动。通常,这意味着无法以有效且满足 GoldParse 中指定的正确注释的方式更新模型。"

为了将我的 json 数据转换为新的 Spacy v3.x 推荐格式,我使用了这段代码

我该怎么办?提前致谢

配置文件

0 投票
1 回答
100 浏览

pyinstaller - 如何将 Spacy 与 Pyinstaller 一起使用?

是否有可能,有人可以发布一个包含 spacy 和语言模型的最小程序的工作pyinstaller示例?

我尝试按照 stackoverflow 上的提示进行操作,但也许我不太了解它们。我仍然收到相同的错误,即找不到模型。

0 投票
2 回答
692 浏览

nlp - spaCy NER训练期间的训练时期解释

我正在用变形金刚训练我的 NER 模型,我不确定为什么训练会在某个时候停止,或者为什么它甚至会使用这么多批次。这是我的配置文件的样子(相关部分):

这是训练日志:

我试图训练我的模型 2 个 epoch ( max_epochs=2),我的训练文件有大约 123591 个示例,而开发文件有 2522 个示例。

我的问题是:

  • 由于我的最小批量大小为 100,我希望我的训练在第 2400 个评估批次之前结束,对吗?因为评估的第 2400 批意味着我至少有 2400*100 = 240000,实际上它甚至会更多,因为我的批大小正在增加。那么为什么会一路走到#4600呢?

  • 训练自动结束,但 E 仍然读取第 0 个 epoch。这是为什么?

编辑:继续我的第二个要点,我很想知道为什么训练一直到 4600 个批次,因为至少 4600 个批次意味着 4600*100 = 460000 个示例,我给出了 123591 个训练示例,所以我显然远远超过了第一个时代,但 E 仍然读为 0。

0 投票
0 回答
776 浏览

python-3.x - 在 spacy 自定义试用模型中:Config Validation error ner -> wrong_spans_key extra fields not allowed

每当我尝试在docker container中加载经过自定义训练的 spacy NER 模型时,我都会遇到问题。

注意: 我正在使用最新的 spacy 版本 3.0 并使用 spacy 的 CLI 命令训练了该 NER 模型,首先将训练数据格式转换为 .spacy 格式

错误抛出如下(您可以将图像中的错误检查为超链接):

配置验证错误

我训练的模型文件结构如下所示: custom ner model structure

但是,在没有 docker 的情况下运行该模型时,它可以完美运行。在这个过程中我做错了什么。请帮我解决错误。

先感谢您。

0 投票
1 回答
152 浏览

spacy - 是否可以将自定义实体标签添加到 Spacy 3.0 配置文件?

我正在使用 spacy-transformers 和 roBERTa 开发自定义 NER 模型。我真的只为此使用 CLI,并试图更改我的 Spacy config.cfg 文件以说明管道中的自定义实体标签。

我是 Spacy 的新手,但我收集到人们通常使用 ner.add_label 来完成此操作。我想知道我是否可以更改配置的 [initialize.components.ner.labels] 中的某些内容,但还没有找到这样做的好方法。

我似乎找不到任何以类似方式更改配置文件的选项 - 有谁知道这是否可能,或者实现这些自定义标签的最简洁方法是什么?

为清楚起见进行了编辑:我的问题可能与我的配置理论不同。现在我得到一个输出,但它们不是文本标签,而是数字标签,例如:

('Oct',383) ('2019',383) ('February',383)

预先感谢您的帮助!