python - 通过使用 joblib 拥抱面部转储的简单变压器

Question

我有一个关于倾销一个简单的变压器模型的问题。

我训练了一个模型，而不是使用 joblib 转储它：

dump(model, 'Simple_transfomers.joblib') 

当我将它加载到另一个脚本中时，使用：

files = glob.glob('Simple_transfomers.joblib')

model = ClassificationModel(
    "bert", "models/files"
)

甚至尝试其他方式：

model = ClassificationModel(
    "bert", "outputs/pytorch_model.bin"
)

我收到了 ：

404 Client Error: Not Found for url: https://huggingface.co/*outputs/pytorch_model.bin*/resolve/main/config.json

我认为问题可能出在使用 google colab 并将模型存储在 google drive 上。

是否有可能使用 ClassificationModel 读取 gdrive 目录？

阅读https://simpletransformers.ai/docs/usage/上的文档，但找不到任何解决方案。

Answer 1

如果你dump有 joblib.dump，你可以简单地使用joblib.load

model = joblib.load("Simple_transfomers.joblib")

joblib就像pickle（我认为它甚至使用pickle）将python对象转储到文件中。