0

我正在尝试使用 spacy 来训练命名实体识别器,它似乎只使用一个线程。我做了一些研究,这似乎是 Cython 和 GIL 的问题,有一种方法可以更改位于“管道”方法中的线程数。我还发现了这篇非常有用的文章:https ://explosion.ai/blog/multithreading-with-cython

问题是这是为 spacy v2 和 v3.0 编写的,通过配置文件和诸如此类的东西完全改变了它们的格式。我在一台有 8 个线程的机器上使用 Linux。如何使用 spacy v3.0 成功实现多线程?

4

1 回答 1

1

从 spacy v2 开始不支持多线程。当前的替代方法是使用 ray 进行分布式训练包spacy-rayhttps ://spacy.io/usage/training#parallel-training

于 2021-03-31T06:28:45.533 回答