gpu - 如何使用 GPU 训练 spaCy 实体链接模型？

Question

当我训练spaCy实体链接模型时，请遵循文档wiki_entity_linking，我发现该模型是使用 cpu 训练的。训练epoch需要很长时间。（环境中2个epoch大约3天：16x cpu，64GB mem）</p>

命令是： python wikidata_train_entity_linker.py -t 50000 -d 10000 -o xxx. 所以我的问题是，我该如何在训练阶段使用 GPU。

Answer 1

在初始化 NLP 模型之前，您需要重构代码以使用 spacy.require_gpu() - 有关更多信息，请参阅文档：https ://spacy.io/api/top-level#spacy.require_gpu

在这样做之前，我会确保您的任务在所有内核上运行。如果您没有在所有内核上运行，则可以使用 joblib 来处理作业的多处理小批量分区：

    partitions = minibatch(texts, size=batch_size)
    executor = Parallel(n_jobs=n_jobs, backend="multiprocessing", prefer="processes")
    do = delayed(partial(transform_texts, nlp))
    tasks = (do(i, batch, output_dir) for i, batch in enumerate(partitions))
    executor(tasks)

有关更多信息，这里是来自文档的 joblib 多处理 NER 训练示例：https ://spacy.io/usage/examples#multi-processing