1

我正在使用 fairseq(版本:1.0.0a0+14c5bd0)根据此链接微调模型。但是,有很多参数我在文档中找不到,也无法在运行fairseq-train --help. 示例包括:

--warmup-updates
--encoder-normalize-before
--label-smoothing

它们是否被其他一些参数取代?

4

1 回答 1

0

训练模型时,您可以调用通用训练参数(在CLI 帮助中记录)或特定于组件的参数。您经常需要使用文档站点左上角的搜索栏来查找后者。

关于您突出显示的特定内容,一些文档与它们的组件一起记录在文档中:

  • --warmup-updates是学习率调度器的一个属性(doc)
  • --encoder-normalize-before是 Transformer 模型参数(doc)

有些仅记录在代码中(如果有的话):

  • --label-smoothing是标签平滑交叉熵损失的参数(代码)
于 2021-11-16T10:39:43.917 回答