question-answering - 使用saimpletransformers时如何在wandb中记录工件？

Question

我正在使用simpletransformers创建一个问答模型。我还想使用 wandb 来跟踪模型工件。据我从wandb docs了解到，simpletransformers有一个集成接触点，但没有提到日志记录工件。

我想记录在训练、验证和测试阶段生成的工件，例如 train.json、eval.json、test.json、output/nbest_predictions_test.json 和最佳性能模型。

Answer 1

目前 simpleTransformers 不支持在训练/测试脚本中记录工件。但是您可以手动执行此操作：

import os 

with wandb.init(id=model.wandb_run_id, resume="allow", project=wandb_project) as training_run:
    for dir in sorted(os.listdir("outputs")):
        if "checkpoint" in dir:
            artifact = wandb.Artifact("model-checkpoints", type="checkpoints")
            artifact.add_dir("outputs" + "/" + dir)
            training_run.log_artifact(artifact)

有关更多信息，您可以关注 SimpleTransofrmer 的 README.md 中的 W&B 笔记本