tensorflow - 每个模拟设备的学习参数

Question

tensorflow-federated 是否支持为不同的模拟设备分配不同的超参数（如批量大小或学习率）？

Answer 1

目前，您可能会觉得这有点不自然，但是是的，这样的事情是可能的。

今天支持的一种方法是让每个客户端将其本地学习率作为顶级参数，并在训练中使用它。这里的一个虚拟例子是（在下面的计算中滑动模型参数）沿着线的东西

@tff.tf_computation(tff.SequenceTyoe(...), tf.float32)
def train_with_learning_rate(ds, lr):
  # run training with `tf.data.Dataset` ds and learning rate lr
  ...

@tff.federated_computation(tff.FederatedType([tff.SequenceType(...), tf.float32])
def run_one_round(datasets_and_lrs):
  return tff.federated_mean(
      tff.federated_map(train_with_learning_rate, datasets_and_lrs))

在此处使用元组列表调用联合计算，其中元组的第一个元素表示客户端数据，第二个元素表示特定客户端的学习率，将给出您想要的。

这样的事情需要编写自定义联合计算，特别是可能定义您自己的IterativeProcess. 最近在这里开源了一个类似的迭代过程定义，链接转到相关的本地客户端函数定义，以允许通过采用表示轮数的额外整数参数在客户端上进行学习率调度，这可能是一个很好的地方。