我正在尝试使用 Colab 的 Google Cloud 的 TPU。我可以按照教程使用 Tensorflow 做到这一点。
有人知道是否可以使用 PyTorch 使用 TPU?如果是这样,我该怎么做?你有什么例子吗?
我正在尝试使用 Colab 的 Google Cloud 的 TPU。我可以按照教程使用 Tensorflow 做到这一点。
有人知道是否可以使用 PyTorch 使用 TPU?如果是这样,我该怎么做?你有什么例子吗?
目前,无法将 Cloud TPU 与 PyTorch 一起使用,因为它是专为 Tensorflow 设计的。
但是,根据三天前在谷歌云博客上发布的这条产品新闻,“谷歌 TPU 团队的工程师正在积极与核心 PyTorch 开发人员合作,将 PyTorch 连接到云 TPU”。
查看我们的存储库pytorch/xla,您可以在其中开始在 TPU 上训练 PyTorch 模型。
此外,您甚至可以通过这些Colab 笔记本在 Colab 上使用带有 PyTorch 的免费 TPU 。
截至今天,PyTorch Lightning允许在 TPU 上轻松运行 PyTorch 代码(您需要安装 XLA 库)。从他们在colab上的演示笔记本:
from pytorch_lightning import Trainer
model = CoolSystem()
# most basic trainer, uses good defaults
trainer = Trainer(num_tpu_cores=8)
trainer.fit(model)