python - TensorFlow：跨多台机器训练时，数据并行端点的目的是什么？

Question

在TensorFlow-slim源代码中，在其损失函数的创建中指出了一个端点：

def clone_fn(batch_queue):
  """Allows data parallelism by creating multiple clones of network_fn."""
  images, labels = batch_queue.dequeue()
  logits, end_points = network_fn(images)

  #############################
  # Specify the loss function #
  #############################
  if 'AuxLogits' in end_points:
    slim.losses.softmax_cross_entropy(
        end_points['AuxLogits'], labels,
        label_smoothing=FLAGS.label_smoothing, weight=0.4, scope='aux_loss')
  slim.losses.softmax_cross_entropy(
      logits, labels, label_smoothing=FLAGS.label_smoothing, weight=1.0)
  return end_points

来源：https ://github.com/tensorflow/models/blob/master/slim/train_image_classifier.py#L471-L477

我的想法是，有多个相同的网络在不同的机器上训练，最后将变量和参数平均化以合并到一个网络中（这是正确的吗？）。但是我不太明白在这种情况下端点的目的是什么，因为我认为 network_fn 应该只产生用于预测的 logits。end_points 有什么用？

Answer 1

在endpoints这种情况下，只需跟踪模型的不同输出。AuxLogits例如，一个有logits 。