rasa-nlu - 如何在非常小的数据集上进行训练？

Question

我们正试图了解 Rasa 的基本模型 - 那里的论坛仍然没有给我们答案 - 关于两个主要问题：

• 我们知道 Rasa 模型是一个基于 Transformer 的架构。它是否在任何数据集上进行了预训练？（例如维基百科等）

• 那么，如果我们理解正确，意图分类是在该转换器之上的微调任务。这么小的训练集怎么会起作用？

感谢任何见解！

谢谢

里奥

Answer 1

变压器模型没有在任何数据集上进行预训练。我们使用了相当浅的 Transformer 堆栈，它不像大型预训练语言模型中使用的更深的 Transformer 堆栈那样需要大量数据。话虽如此，没有确切数量的数据点足以训练您的助手，因为它因域和您的问题而异。通常一个好的估计是每个意图 30-40 个示例。