tensorflow - 如何在 Tensorflow Hub 中使用自定义模型？

Question

我的目标是在 Google Colab 中测试 Google 的 BERT 算法。

我想为芬兰语使用预先训练的自定义模型（https://github.com/TurkuNLP/FinBERT）。在 TFHub 库中找不到该模型。我还没有找到使用 Tensorflow Hub 加载模型的方法。

有没有一种巧妙的方法可以通过 Tensorflow Hub 加载和使用自定义模型？

Answer 1

从根本上说：是的。每个人都可以创建 TF Hub 托管的那种模型，我希望有趣模型的作者能够考虑到这一点。

• 有关 TF1 和为其量身定制的 hub.Module 格式，请参阅 https://www.tensorflow.org/hub/tf1_hub_module#creating_a_new_module
• 对于 TF2 及其修订的 SavedModel 格式，请参阅 https://www.tensorflow.org/hub/tf2_saved_model#creating_savedmodels_for_tf_hub

也就是说，像 BERT 这样的复杂模型需要花点心思才能将其导出并包含所有的花里胡哨，因此它有助于构建一些工具。TF2 的 BERT 参考实现在https://github.com/tensorflow/models/tree/master/official/nlp/bert带有一个开源的 export_tfhub.py 脚本，任何人都可以使用它来导出创建的自定义 BERT 实例从那个代码库。

但是，我从https://github.com/TurkuNLP/FinBERT/blob/master/nlpl_tutorial/training_bert.md#general-info了解到，您正在使用 Nvidia 的 BERT 原始 TF1 实现的分支。有从原始研究代码创建的 Hub 模块，但为此目的的工具尚未开源，而且 Nvidia 似乎也没有添加自己的工具。

如果这种情况没有改变，您可能不得不采取行人的方式做事并熟悉他们的代码库并将他们的检查点加载到其中。