问题标签 [fairseq]

我正在尝试使用日语数据集微调多语言 T5 模型。 https://huggingface.co/csebuetnlp/mT5_multilingual_XLSum
但是，这个模型太大而无法加载到我的 GPU 上，并且无法对其进行微调。

我找到了此类问题的解决方案和代码片段； https://github.com/pytorch/fairseq/issues/2120#issuecomment-647429120

思路是这样的；

1.根据finetuning数据得到一个新的词汇表。

2、根据新词汇在旧词汇中找到对应的位置。

3、根据上一步得到的位置得到部分embedding矩阵，那么我们就可以得到一个只与我们的finetuning数据相关的更小的embedding。

4.保持其他参数不变，只用上一步得到的新的embedding矩阵替换embedding矩阵，再次保存模型。

但是，这适用于 fairseq 上的模型。
我是 DL 新手，我不知道为 Huggingface 模型实现这个解决方案。
如何在 Huggingface 模型上执行类似的操作？

我正在尝试将 XLMRoberta 用于 PyTorch，但标记器的输出仅包含 input_ids 和 attention_masks。缺少 token_type_ids。然后我在某处读到 XLMR 模型不需要分隔文本对。但是，在上述设置中，我的模型没有收敛。如何从 XLMRoberta 标记器函数返回 token_type_ids？

我想使用一个基于fairseq工具包实现的包。包装要求说：

请使用 Apex 的早期提交 - NVIDIA/apex@4a8c4ac

即使我知道如何安装Apex，但我不确定我是否理解使用包的早期提交意味着什么以及我如何准确地使用该提交（例如，我如何安装一个包的提交）？它只是意味着该软件包的特定版本吗？如果是这样，我如何从提交中找到该特定版本？

以下代码给出运行时错误“结果类型 Float 无法转换为所需的输出类型 Long”。

我已经尝试执行以下操作：

从： torch.div(self.indices_buf, vocab_size, out=self.beams_buf)

至： torch.div(self.indices_buf, vocab_size, out=self.beams_buf).type_as(torch.LongTensor)

有问题的代码：

此代码来自 fairseq。

对于机器翻译评估，我需要计算翻译输出文件和参考文件之间的 METEOR 分数。

我已经找到了这个问题How can I implement meteor score when using the meteor_score module from nltk? ，但没有帮助。

• 是否有任何官方 Python 包或 Github 存储库可用于计算您推荐的 METEOR 分数？
• 如何计算参考文件和输出翻译文件之间的 METEOR？

当我尝试来自 Hugging face 的示例代码时，我得到以下错误。代码可以从https://huggingface.co/facebook/tts_transformer-en-ljspeech找到

代码：

错误：