bert-language-model - 如何使用 deeppavlov 构建基于自定义上下文的问答模型 SQuAD

Question

我有以下查询

1. 数据集格式（是如何拆分训练、测试和有效数据）
2. 放置数据集的位置
3. 如何更改数据集阅读器的路径
4. 如何将模型保存在我自己的目录中
5. 以及如何使用训练好的模型

编辑

my_config['dataset_reader']['data_path'] = '/home/ec2-user/SageMaker/squad/data/'  
my_config['metadata']['variables']['MODELS_PATH'] = '/home/ec2-user/SageMaker/squad/model/'
 

我使用此命令更改配置文件中的数据集路径和模型路径。我的模型保存在此位置，但它在训练期间没有使用我的数据集，而是在该文件夹中下载自己的数据集并使用它。

Answer 1

1. 数据集的示例是https://github.com/deepmipt/DeepPavlov/blob/f5117cd9ad1e64f6c2d970ecaa42fc09ccb23144/deeppavlov/dataset_readers/squad_dataset_reader.py#L46 您的数据集应该具有相同的格式。

2-3。数据集应该放在文件夹https://github.com/deepmipt/DeepPavlov/blob/f5117cd9ad1e64f6c2d970ecaa42fc09ccb23144/deeppavlov/configs/squad/squad_torch_bert.json#L4 （您可以更改文件夹名称）

4. 模型保存在目录https://github.com/deepmipt/DeepPavlov/blob/f5117cd9ad1e64f6c2d970ecaa42fc09ccb23144/deeppavlov/configs/squad/squad_torch_bert.json#L166 （这里可以自己写目录）

5. 训练好的模型可以与命令一起使用：python3 -m deeppavlov interact <your_config_name> 更详细的如何启动模型的教程在这里https://github.com/deepmipt/DeepPavlov