1

我正在尝试使用 fasttext 进行文本分类,并且正在 Windows 上对 850MB 文本的语料库进行训练,但我不断收到以下错误:

assertion "counts.size() == osz_" failed: file "src/model.cc", line 206, function: void fasttext::Model::setTargetCounts(const std::vector<long int>&) Aborted (core dumped)

我检查了 and 的值counts.size()osz_发现counts.size = 2515626and osz_ = 300。当我调用in.good()输入流时,FastText::loadModel我得到 0,in.fail()=1并且in.eof()=1.

我正在使用以下命令来训练和测试我的模型:

./fasttext supervised -input fasttextinput -output fasttextmodel -dim 300 -epoch 5 -minCount 5 -wordNgrams 2

./fasttext test fasttextmodel.bin fasttextinput

我的输入数据根据fasttext github页面正确格式化,所以我想知道这是我的失败还是错误。

感谢您对此的任何支持!

4

1 回答 1

0

要关闭此线程:

正如@Sixhobbits'指出的错误与https://github.com/facebookresearch/fastText/issues/73有关(保存fastText监督模型时磁盘空间不足)

于 2017-04-29T15:13:17.293 回答