1

在 google colab 中使用 TPU 时，出现以下错误

InvalidArgumentError：无法为操作 Adam/iterations/IsInitialized/VarIsInitializedOp 分配设备：{{node Adam/iterations/IsInitialized/VarIsInitializedOp}} 已明确分配给 /job:worker/replica:0/task:0/device:TPU:0但可用的设备是 [ /job:localhost/replica:0/task:0/device:CPU:0, /job:localhost/replica:0/task:0/device:XLA_CPU:0 ]。确保设备规范引用了有效的设备。[[亚当/迭代/IsInitialized/VarIsInitializedOp]]

TPU_WORKER = 'grpc://' + os.environ['COLAB_TPU_ADDR']
        resolver = tf.contrib.cluster_resolver.TPUClusterResolver(TPU_WORKER)
        tf.contrib.distribute.initialize_tpu_system(resolver)
        strategy = tf.contrib.distribute.TPUStrategy(resolver)
        with strategy.scope():
            # Setup the model inputs / outputs
            model = Model(inputs=[inputs_img, inputs_mask], outputs=outputs)
            # Compile the model
            model.compile(
                optimizer = Adam(lr=lr),
                loss=self.loss_total(inputs_mask)
            )
4

2 回答 2

0

来回移动keras.models并keras.layers为我解决了这个问题tf.keras.models。tf.keras.layers还要确保您没有使用本地存储。请改用 GCS 存储桶。

于 2019-11-27T02:51:32.453 回答
0

这是一个参考 TPU colab，确保将加速器更改为 TPU：运行时 -> 更改运行时间 -> TPU

https://colab.research.google.com/notebooks/tpu.ipynb

于 2020-05-14T05:15:35.353 回答