5

我已在该us-central1-f地区分配了多个 Google Cloud TPU。机器类型都是v2-8.

如何利用我所有的 TPU 训练一个模型？

该us-central1-f地区不支持 pods，因此使用 pods 似乎不是解决方案。即使 pod 可用，我拥有的 v2-8 单元的数量也不匹配任何 pod TPU 切片大小（16、64、128、256），因此我无法在单个 pod 中使用它们。

4

2 回答 2

2

虽然我找不到明确回答这个问题的文档，但我已经阅读了多篇文章和问题并得出结论，如果您使用的v2-8是v3-8TPU，则不可能一次使用多个。您将不得不使用更大的机器，例如v2-32或v3-32确保您可以访问更多内核，而 TFRC 程序不会免费提供这些。

参考：

于 2020-06-14T14:56:24.760 回答
0

我相信你不能轻易做到这一点。如果您想使用多个 TPU 训练单个模型，则需要访问具有 TPU Pod 的区域。否则你可以做显而易见的事情：在不同的 TPU 上训练相同的模型，但使用不同的超参数作为网格搜索的一种方式，或者你可以训练多个弱学习器，然后手动组合它们。

于 2019-06-17T00:32:17.583 回答