nlp - 如何限制 FastText 中的字长？

Question

我正在使用 FastText 计算包含一长串没有空格的字符的语料库上的 skipgrams。大约一个小时后，FastText 生成一个模型，其中包含与语料库中长度为 50 个字符的“单词”相对应的向量（长度为 100）。

我尝试设置-minn和-maxn参数，但这无济于事（我有点知道它不会，但无论如何尝试了），并且-wordNgrams参数仅适用于有空格的情况，我猜（？！）。这只是表示状态的一长串字符，没有空格。

该文档似乎没有关于此的任何信息（或者我可能遗漏了什么？）

Answer 1

该工具只接受您提供给它的任何以空格分隔的标记。

如果要截断或丢弃超过 50 个字符（或任何其他阈值）的标记，则需要自己预处理数据。

（如果您的问题实际上是其他问题，请在问题中添加更多详细信息，以显示语料库中的示例行、您如何在其上调用 fasttext、您如何查看不满意的结果，以及您希望看到的令人满意的结果如何。