distributed-computing - 在 AMLS 中使用 TensorFlow 进行分布式训练

Question

在 Azure ML 服务中使用具有以下配置的 TensorFlow 估算器。

from azureml.core.runconfig import TensorflowConfiguration
distributed_training = TensorflowConfiguration()
distributed_training.worker_count = 3
est = TensorFlow(source_directory=script_folder,
             script_params=script_params,
             compute_target=compute_target,
             node_count=4,
             distributed_training=distributed_training,
             use_gpu=True,
             entry_script=train_script)
run = exp.submit(est)

似乎在使用这种配置运行时，个别工作人员提出了他们自己的训练模型实例并尝试多次注册模型。我需要在 Tensorflow 训练脚本中处理分布式训练吗？

Answer 1

您需要在训练脚本中处理模型保存：将模型系数收集到单个等级，并将它们从该等级保存到文件中。

然后，您可以在训练脚本之外注册模型，使用 run.register_model 并将保存的模型的文件夹/文件作为参数传递。