How-to issue：spaCy 提到如果数据很少，ELMo/BERT 在 NLP 任务中非常有效，因为这两个具有非常好的迁移学习特性。
我的问题：迁移学习相对于什么模型。如果你有狗的语言模型，那么为袋鼠找到一个好的语言模型会更容易（我的案例是与生物学相关的，并且有很多术语）？
问问题
84 次
1 回答
0
好吧，BERT 和 ELMo 是在庞大的语料库上训练的（BERT 是在 16GB 的原始文本上训练的）数据。这意味着，从这些模型产生的嵌入是通用的，这将在大多数任务中利用语言模型的能力。
由于您的任务与生物学相关，您可以查看 BioBERT 等替代方案 ( https://arxiv.org/abs/1901.08746 )
于 2019-11-04T16:40:29.953 回答