1

我正在尝试通过调整 QRNN 预训练 LM 来使用基于 QRNN 的编码器进行文本分类。

这是qrnn的配置

emb_sz:int = 400
nh: int = 1550
nl: int = 3

qrnn_config = copy.deepcopy(awd_lstm_lm_config)
dps = dict(output_p=0.25, hidden_p=0.1, input_p=0.2, embed_p=0.02, weight_p=0.15)
qrnn_config.update({'emb_sz':emb_sz, 'n_hid':nh, 'n_layers':nl, 'pad_token':1, 'qrnn':True})
qrnn_config

我将配置传递给 lm_learner

lm_learner = language_model_learner(data_lm, AWD_LSTM, config=qrnn_config, pretrained=False,drop_mult=.1,pretrained_fnames=(pretrained_lm_fname,pretrained_itos_fname))

我得到的是：

ImportError: No module named 'forget_mult_cuda'

Fast-ai 版本为：'1.0.51.dev0'

4

3 回答 3

0

使用它来更新 QRnn 到true

语言模型

config = awd_lstm_lm_config.copy()
config['qrrn']=True

分类模型

config = awd_lstm_clas_config.copy()
config['qrrn']=True

config 你不需要从源代码中复制任何东西。

于 2019-05-17T04:40:05.323 回答
0

看来您缺少 ninja 包。

利用：

pip install ninja

如果您正在使用它，请重新启动您的笔记本。

于 2020-06-03T18:29:55.173 回答
0

尝试使用清理 cuda 现金

gc.collect()
torch.cuda.empty_cache()
于 2019-04-23T16:06:51.010 回答