我计划根据手头的数据（人们输入的笔记）从头开始训练 ELMo 或 Bert 模型。我现在拥有的数据都是由不同的人输入的。句子中存在拼写、格式和不一致的问题。在阅读了 ELMo 和 Bert 论文后，我知道这两个模型都使用了很多类似 Wikipedia 的句子。我找不到任何已处理的训练样本或任何用于 Emlo 或 Bert 模型的预处理教程。我的问题是：
Bert 使用 WordPiece 嵌入，这在一定程度上有助于处理脏数据。 https://github.com/google/sentencepiece
此外，Google-Research 在其代码中提供数据预处理。 https://github.com/google-research/bert/blob/master/tokenization.py
默认 Elmo 实现将标记作为输出（如果您提供未标记的字符串，它将在空格上拆分）。因此，拼写更正、去重、词形还原（例如在 spacy https://spacy.io/api/lemmatizer中）、将标记与标点符号分开以及其他标准预处理方法可能会有所帮助。
您可以检查 NLTK 包中预处理文本的标准方法。 https://www.nltk.org/api/nltk.tokenize.html（例如 Twitter 标记器）。（请注意，NLTK 本身很慢）。许多机器学习库提供了它们的基本预处理（https://github.com/facebookresearch/pytext https://keras.io/preprocessing/text/）
您也可以尝试试验并向输入提供 bpe 编码或字符 n-gram。
它还取决于您拥有的数据量；您拥有的数据越多，预处理的好处就越少（在我看来）。鉴于您想从头开始训练 Elmo 或 Bert，您应该拥有大量数据。