我需要为此写一篇适当的博客文章。tl;dr 是 spaCy 是在 Cython 中实现的，Cython 是一种类似 Python 的语言，可以转换为 C 或 C++，并最终生成 Python 扩展。您可以在此处阅读有关使用 Cython 发布 GIL 的更多信息：
http://docs.cython.org/src/userguide/parallelism.html
这是 spaCy 中 .pipe 方法的实现：
https://github.com/spacy-io/spaCy/blob/master/spacy/syntax/parser.pyx#L135
def pipe(self, stream, int batch_size=1000, int n_threads=2):
cdef Pool mem = Pool()
cdef TokenC** doc_ptr = <TokenC**>mem.alloc(batch_size, sizeof(TokenC*))
cdef int* lengths = <int*>mem.alloc(batch_size, sizeof(int))
cdef Doc doc
cdef int i
cdef int nr_class = self.moves.n_moves
cdef int nr_feat = self.model.nr_feat
cdef int status
queue = []
for doc in stream:
doc_ptr[len(queue)] = doc.c
lengths[len(queue)] = doc.length
queue.append(doc)
if len(queue) == batch_size:
with nogil:
for i in cython.parallel.prange(batch_size, num_threads=n_threads):
status = self.parseC(doc_ptr[i], lengths[i], nr_feat, nr_class)
if status != 0:
with gil:
sent_str = queue[i].text
raise ValueError("Error parsing doc: %s" % sent_str)
PyErr_CheckSignals()
for doc in queue:
self.moves.finalize_doc(doc)
yield doc
queue = []
batch_size = len(queue)
with nogil:
for i in cython.parallel.prange(batch_size, num_threads=n_threads):
status = self.parseC(doc_ptr[i], lengths[i], nr_feat, nr_class)
if status != 0:
with gil:
sent_str = queue[i].text
raise ValueError("Error parsing doc: %s" % sent_str)
PyErr_CheckSignals()
for doc in queue:
self.moves.finalize_doc(doc)
yield doc
多线程的实际机制非常简单，因为 NLP（通常）是令人尴尬的并行 --- 每个文档都是独立解析的，所以我们只需要在文本流上进行 prange 循环。
但是，以多线程方式实现解析器非常困难。要有效地使用多线程，您需要释放 GIL，而不是重新获取它。这意味着不使用 Python 对象，不引发异常等。
当你创建一个 Python 对象——比如说一个列表——你需要增加它的引用计数，它是全局存储的。这意味着获得 GIL。没有办法解决这个问题。但是，如果您在 C 扩展中，并且只想将整数放入堆栈，或者调用 malloc 或 free，则不需要获取 GIL。因此，如果您在该级别编写程序，仅使用 C 和 C++ 结构，您就可以释放 GIL。
几年来，我一直在 Cython 中编写统计解析器。（在 spaCy 之前，我有一个用于我的学术研究的实现。）在没有 GIL 的情况下编写整个解析循环是很困难的。到 2015 年底，我将机器学习、哈希表、外部解析循环和大部分特征提取作为 nogil 代码。但是状态对象有一个复杂的接口，并且被实现为一个 cdef 类。如果不获取 GIL，我无法创建此对象或将其存储在容器中。
当我想出一种在 Cython 中编写 C++ 类的无证方法时，突破就来了。这让我可以挖空控制解析器状态的现有 cdef 类。我逐个方法代理了它到内部 C++ 类的接口。这样我可以保持代码正常工作，并确保我没有在特征计算中引入任何细微的错误。
你可以在这里看到内部类：https ://github.com/spacy-io/spaCy/blob/master/spacy/syntax/_state.pxd
如果你浏览这个文件的 git 历史，你可以看到我实现 .pipe 方法的补丁。