1

Spacy 'train' 命令使用命令行选项 --gpu 0，允许在使用 GPU 训练和不使用 GPU 之间进行“最后一分钟”选择 - 仅使用 CPU。

但是，使用https://spacy.io/usage/training#quickstart在 GPU 和 CPU 之间进行选择会导致（基本）配置存在重大差异。就我而言（处理 NER），我得到了两个不同的管道：

  • 对于 CPU：管道 = [“ tok2vec ”，“ner”]
  • 对于 GPU：管道 = [“变压器”，“ner”]

（具有非常不同的以下组件设置）。

由于我的 GPU 只有 6GB 内存，所以我很快就耗尽了 GPU 内存 - 无法使用它。但是当我切换到仅使用 CPU 时，两个管道之间的训练行为大不相同：

["tok2vec","ner"] 管道几乎在单核上运行，在几个小时内训练我的模型（8,000 个训练，2000 个开发/验证文档）。明显快于 Spacy 2（即使使用 GPU），但有时会使用大量内存（高达 30G）。

["transformer","ner"] 管道爆炸成使用多达 20 个内核（在 40 个逻辑内核机器上），所以我希望它运行得很快。但它似乎永远运行。在一个小时内，我只完成了第一个“时代”，然后（在下一个时代）它崩溃了（见下文）。由于我的数据（每个批处理 100 个“文档”的 DocBin 文件）是相同的，因此下面的崩溃（无序 B/I 标记）很难解释。

我的主要问题是为什么在针对 GPU 和 CPU 时管道会有所不同？以 GPU 为目标的向量在哪里？

碰撞： ...

 File "C:\Work\ML\Spacy3\lib\site-packages\spacy\training\loop.py", line 98, in train
    for batch, info, is_best_checkpoint in training_step_iterator:
  File "C:\Work\ML\Spacy3\lib\site-packages\spacy\training\loop.py", line 194, in train_while_improving
    nlp.update(
  File "C:\Work\ML\Spacy3\lib\site-packages\spacy\language.py", line 1107, in update
    proc.update(examples, sgd=None, losses=losses, **component_cfg[name])
  File "spacy\pipeline\transition_parser.pyx", line 350, in spacy.pipeline.transition_parser.Parser.update
  File "spacy\pipeline\transition_parser.pyx", line 604, in spacy.pipeline.transition_parser.Parser._init_gold_batch
  File "spacy\pipeline\_parser_internals\ner.pyx", line 273, in spacy.pipeline._parser_internals.ner.BiluoPushDown.init_gold
  File "spacy\pipeline\_parser_internals\ner.pyx", line 53, in spacy.pipeline._parser_internals.ner.BiluoGold.__init__
  File "spacy\pipeline\_parser_internals\ner.pyx", line 69, in spacy.pipeline._parser_internals.ner.create_gold_state
  File "spacy\training\example.pyx", line 240, in spacy.training.example.Example.get_aligned_ner
  File "spacy\tokens\doc.pyx", line 698, in spacy.tokens.doc.Doc.ents.__get__
ValueError: [E093] token.ent_iob values make invalid sequence: I without B
4

1 回答 1

2

基本上，如果您在快速入门中选择“GPU”，则 spaCy 使用 Transformers 管道，这在架构上与 CPU 管道有很大不同。快速入门中的设置是推荐的基本设置，而 spaCy 能够实际使用的设置要广泛得多（训练中的 -gpu 标志就是其中之一）。

Transformers 使用注意力来生成上下文嵌入，因此没有一个单词的单个嵌入的真正概念。这些上下文嵌入通常比词嵌入更好。由于这个原因，spaCy Transformers 模型不包括词嵌入。Transformers 的缺点是它们需要非常强大的硬件（包括 GPU）才能运行。如果您确实拥有强大的 GPU，那么使用 Transformer 通常是有意义的。

CPU 管道使用的模型不需要专门的硬件，通常运行速度更快，同时仍为许多应用程序提供足够的精度。如果您没有 GPU，它们基本上也是您唯一的选择。如果你有 GPU，你可以用它来训练非 Transformer 管道，它可能会提供加速，但好处通常并不显着。所以 spaCy 支持在 GPU 上训练非 Transformers 模型，但如果你有 GPU，通常最好使用 Transformers。

于 2021-05-04T06:23:17.417 回答