9

如文档中所示,我无法运行 FastText 量化。具体来说,如备忘单页面底部所示:

https://fasttext.cc/docs/en/cheatsheet.html

当我尝试在训练有素的模型“model.bin”上运行量化时:

./fasttext quantize -output model

将以下错误打印到外壳:

Empty input or output path.

我已经使用最新代码(2018 年 9 月 14 日)和旧代码(2018 年 6 月 21 日)的版本重现了这个问题。由于记录的命令语法不起作用,我尝试添加一个输入参数:

./fasttext quantize -input [file] -output model

其中 [file] 是我的训练数据或训练模型。不幸的是,这两次尝试都导致了分段错误,而 FastText 没有错误消息。

量化 FastText 模型的正确命令语法是什么?此外,是否可以在一次 FastText 运行中同时训练和量化模型?

4

3 回答 3

2

Python中的解决方案:

# Quantize the model with retraining
model.quantize(input=train_data, qnorm=True, retrain=True, cutoff=200000)

# Save quantized model
model.save_model("model_quantized.bin")
于 2019-03-21T13:00:12.863 回答
0

我试过这个有效:

 ./fasttext quantize -input <training set> -output <model name (no suffix) -[options]
于 2019-07-11T06:04:58.450 回答
-1

这是包含在quantization-example.sh

./fasttext quantize -output "${RESULTDIR}/dbpedia" -input "${DATADIR}/dbpedia.train" -qnorm -retrain -epoch 1 -cuto$

于 2019-03-21T12:35:13.323 回答