tensorflow - 在多个 GPU 上运行 NiftyNet Promise12 演示时出错

Question

我正在尝试在 NiftyNet 中复制Promise12 演示。安装了 NiftyNet 0.2.2 和 TensorFlow 1.3 GPU 版本。

下载PROMISE12 数据并解压缩后，我修改了 NiftyNet 的promise12_demo_train_config.ini以反映我的数据的路径（这是唯一的更改）。在 1 个 GPU 上运行成功。

接下来，我将配置部分更改为[SYSTEM]：

[SYSTEM]
cuda_devices = ""
num_threads = 2
num_gpus = 3
model_dir = /promise12_model

这个想法是利用 3 个 GPU。但是，这会产生以下错误，重复多次，看起来像每个输入图像一次：

InvalidArgumentError (see above for traceback): Duplicate tag imgseg/image/0 found in summary inputs
     [[Node: MergedOutputs/Merge/MergeSummary = MergeSummary[N=4, _device="/job:localhost/replica:0/task:0/cpu:0"](worker_0/DenseVNet/PyFunc, worker_1/DenseVNet/PyFunc, worker_2/DenseVNet/PyFunc, MergedOutputs/loss_device_average_)]]
     [[Node: worker_1/gradients/worker_1/loss_function_1/Mean_grad/Shape_3/_3202 = _HostSend[T=DT_INT32, client_terminated=false, recv_device="/job:localhost/replica:0/task:0/gpu:1", send_device="/job:localhost/replica:0/task:0/gpu:1", send_device_incarnation=1, tensor_name="edge_53477_worker_1/gradients/worker_1/loss_function_1/Mean_grad/Shape_3", _device="/job:localhost/replica:0/task:0/gpu:1"](worker_1/gradients/worker_1/loss_function_1/Mean_grad/Shape_3)]]

我怀疑这是预期的结果，但也许在使用多个 GPU 时需要更改其他设置？

Answer 1

问题/解决方案在这里讨论：https ://github.com/NifTK/NiftyNet/issues/50