0

我试图加载一次 SuperTransformer 模型，并在循环中多次对数据集执行预测 - 同时每次都更改采样模型配置。

我正在使用 github.com/mit-han-lab/hardware-aware-transformers 中的 generate.py 文件在WMT'14En -De 数据集上运行翻译。更改采样模型配置的代码部分位于model.set_sample_config(config)generate.py 的第 67 行。

基本上，我想要实现的是使用不同的 SubTransformer 配置对数据集重复推理——同时只加载数据集和模型一次（在第二次迭代中尽可能多地减少开销）。

我目前正在尝试实现以下修改后的代码，在#Load ensemble 阶段之后使用while循环，并在每次迭代后更改“config”变量。

 # Load ensemble
print('| loading model(s) from {}'.format(args.path))
models, _model_args = checkpoint_utils.load_model_ensemble(
    args.path.split(':'),
    arg_overrides=eval(args.model_overrides),
    task=task,
)

torch.manual_seed(args.seed)

#loop twice, change 'config' variable on second iteration to have different SubTransformer configuration
while i in range (0,2):

    # Optimize ensemble for generation
    for model in models:
        if use_cuda:
            model.cuda()

        config = utils.get_subtransformer_config(args)

        model.set_sample_config(config)
        model.make_generation_fast_(
            beamable_mm_beam_size=None if args.no_beamable_mm else args.beam,
            need_attn=args.print_alignment,
        )

但是，我收到以下错误：shape is invalid for input of size x

问题似乎与 sequence_generator.py 中“lprobs”变量的大小有关，其中第二次迭代的大小总是错误的。即使代码再次使用相同的 SubTransformer 配置循环，也会发生此错误。

我对 PyTorch 库和机器学习相当陌生，所以我能得到的任何帮助都将不胜感激！谢谢。

4

0 回答 0