问题标签 [google-cloud-tpu]

我正在 Google Cloud TPU 上训练 U-Net。它可以工作，但利用率非常低。

由于我无法在此处上传跟踪的配置文件（？），最慢部分的屏幕截图在这里：

输出融合是最有害的部分。58% 的时间，但只有 12% 的利用率。下一个耗时部分（9%）是“卷积”，利用率为 74%。我不确定我需要调整哪些操作才能更好地利用输出融合？

下面是我创建 U-Net 的代码，可能里面有一个慢层？：

我的输入批量大小为 128。U-Net 深度为 4。不使用 BatchNorm 层 (batchnorm=False)、conv2d_transpose (upconv=False)、residual=False 和 maxpool=True。所以 U-Net 只包含 Conv2D、Conv2D_Transpose、Dropout、Leaky ReLU、Max Pooling 和 Concatenation 层。

知道我需要调整什么以获得更好的“输出融合”利用率吗？或者至少是什么影响了输出融合？

我正在尝试使用 Colab 的 Google Cloud 的 TPU。我可以按照教程使用 Tensorflow 做到这一点。

有人知道是否可以使用 PyTorch 使用 TPU？如果是这样，我该怎么做？你有什么例子吗？

我正在使用简单的猫对狗数据集在 Google Colab 上尝试新添加的 TPU 支持。

创建一个简单的 CNN 后，我尝试将模型导出到 TPU。但它因错误而失败

这是我在 Colab 上编写的代码。

我的猜测是我在train_generator. 但我不确定它是什么。任何帮助将不胜感激。

我写了一个 NN 模型，它分析图像并在最后提取 8 个浮点数。该模型在我的计算机上运行良好（但速度很慢），所以我在 TPU 云上试了一下，然后 BAM！我有一个错误：

I1008 12:58:47.077905 140221679261440 tf_logging.py:115] 从 training_loop 记录的错误：文件系统方案“[本地]”未实现（文件：“/home/gcloud_iba/Data/CGTR/model/GA_subset/model.ckpt-0_temp_e840841d93124a67b54074b1c1c ') [[{{节点保存/SaveV2}} = SaveV2[dtypes=[DT_FLOAT, DT_FLOAT, DT_FLOAT, DT_FLOAT, DT_FLOAT, ..., DT_FLOAT, DT_FLOAT, DT_FLOAT, DT_FLOAT, DT_INT64], _device="/job:worker /replica:0/task:0/device:CPU:0"](save/ShardedFilename, save/SaveV2/tensor_names, save/SaveV2/shape_and_slices, batch_normalization/beta/Read/ReadVariableOp, batch_normalization/beta/Momentum/Read_1/ReadVariableOp ，batch_normalization/gamma/Read/ReadVariableOp，batch_normalization/gamma/Momentum/Read_1/ReadVariableOp，batch_normalization/moving_mean/Read/ReadVariableOp，batch_normalization/moving_variance/Read/ReadVariableOp、batch_normalization_1/beta/Read/ReadVariableOp、batch_normalization_1/beta/Momentum/Read_1/ReadVariableOp、batch_normalization_1/gamma/Read/ReadVariableOp、batch_normalization_1/gamma/Momentum/Read_1/ReadVariableOp、batch_normalization_1/moving_mean/Read/ ReadVariableOp、batch_normalization_1/moving_variance/Read/ReadVariableOp、conv2d/kernel/Read/ReadVariableOp、conv2d/kernel/Momentum/Read_1/ReadVariableOp、conv2d_1/kernel/Read/ReadVariableOp、conv2d_1/kernel/Momentum/Read_1/ReadVariableOp、conv2d_2/kernel/读取/ReadVariableOp, conv2d_2/kernel/Momentum/Read_1/ReadVariableOp, conv2d_3/kernel/Read/ReadVariableOp, conv2d_3/kernel/Momentum/Read_1/ReadVariableOp, conv2d_4/kernel/Read/ReadVariableOp, conv2d_4/kernel/Momentum/Read_1/ReadVariableOp, conv2d_5/kernel/Read/ReadVariableOp,conv2d_5/kernel/Momentum/Read_1/ReadVariableOp, conv2d_6/kernel/Read/ReadVariableOp, conv2d_6/kernel/Momentum/Read_1/ReadVariableOp, conv2d_7/kernel/Read/ReadVariableOp, conv2d_7/kernel/Momentum/Read_1/ReadVariableOp, conv2d_8/kernel/读取/ReadVariableOp、conv2d_8/kernel/Momentum/Read_1/ReadVariableOp、conv2d_9/kernel/Read/ReadVariableOp、conv2d_9/kernel/Momentum/Read_1/ReadVariableOp、dense/bias/Read/ReadVariableOp、dense/bias/Momentum/Read_1/ReadVariableOp、密集/内核/读取/ReadVariableOp，密集/内核/Momentum/Read_1/ReadVariableOp，密集_1/bias/Read/ReadVariableOp，密集_1/bias/Momentum/Read_1/ReadVariableOp，密集_1/内核/读取/ReadVariableOp，密集_1/内核/Momentum/ Read_1/ReadVariableOp、dense_2/bias/Read/ReadVariableOp、dense_2/bias/Momentum/Read_1/ReadVariableOp、dense_2/kernel/Read/ReadVariableOp、dense_2/kernel/Momentum/Read_1/ReadVariableOp、dense_3/bias/Read/ReadVariableOp、dense_3/bias/Momentum/Read_1/ReadVariableOp、dense_3/kernel/Read/ReadVariableOp、dense_3/kernel/Momentum/Read_1/ReadVariableOp、global_step/Read/读取变量操作）]]

我检查了 TPU 是否可以访问硬盘并且它可以工作（我有另一段代码可以读取与另一个模型相同的数据集）。我还没有缓存我的数据，但我做了一些预取。除此之外，我看不出什么不起作用？

感谢您提供的任何帮助！

皮尔

这是我从Magnus Erik Hvass Pedersen的优秀作品中使用的 Timeseries 笔记本- 谢谢：

https://colab.research.google.com/drive/1F6CuGVWN5TNgIjqxdu5glFeGBEr71TgO

我已经通过 Google Colab 在 GPU 上成功运行了这个笔记本的一个版本，但是当我这样做时（经过一些修改以使代码在 TPU 上兼容）我得到这个错误：

ValueError: Error when checking input: expected input to have shape (299776, 20) but got array with shape (33309, 20)

完整的堆栈跟踪可以在单元格位置https://colab.research.google.com/drive/1F6CuGVWN5TNgIjqxdu5glFeGBEr71TgO#scrollTo=wdSmXdvDw5HL上找到。

让输入/输出数据形状按顺序排列有点拉锯战，但随着我们不断解决 I/O 形状问题，其他形状相关问题开始出现。

该笔记本可用于共享和评论。

任何想法将不胜感激。

我们正在尝试使用 Google Colab TPU 构建图像分割深度学习模型。我们的模型是 Mask R-CNN。

但是，我在将我们的 Mask R-CNN 模型转换为 TPU 模型时遇到了问题，如下所示。

感谢任何帮助。

Google Cloud TPU 是否支持 Tensorflow C++ API？我找不到任何关于此的正面或负面陈述，以及示例代码或 API 参考。是不是表示不支持？

我尝试使用 Google Colab TPU 运行我的 keras UNet 模型，但我遇到了这个问题UpSampling2D。任何解决方案或解决方法？

要运行的代码：

错误：

[DT_INT16] 中的 T 设备='CPU'; [DT_UINT16] 中的 T 设备='CPU'; [DT_INT32] 中的 T 设备='CPU'; T in [DT_INT64] ){{node tpu_140211339657168/up_sampling2d_1/ResizeNearestNeighbor}}

我正在尝试准备 COCO 数据集。在链接https://cloud.google.com/tpu/docs/tutorials/retinanet#prepare_the_coco_dataset 上给出“tpu/tools/datasets/download_and_preprocess_coco.sh 脚本将 COCO 数据集转换为训练应用程序期望的一组 TFRecords "

当我尝试时，我得到 -bash: tpu/tools/datasets/download_and_preprocess_coco.sh: No such file or directory

我该如何解决

该代码在 GPU 和 CPU 上运行良好。但是当我使用 keras_to_tpu_model 函数使模型能够在 TPU 上运行时，发生了错误。

这是 colab 的完整输出：https
: //colab.research.google.com/gist/WangHexie/2252beb26f16354cb6e9ba2639970e5b/tpu-error.ipynb 将运行类型更改为 TPU，我认为这可以重现。

github上的代码：https ://github.com/WangHexie/DHNE/blob/master/src/hypergraph_embedding.py#L60

您可以通过切换到 gpu 分支在 GPU 上测试代码。

追溯