我目前正在研究 TFF 和图像分类（图像分类的联合学习）emnist。
我正在查看模型学习率和优化器的超参数。网格搜索在这里是个好方法吗？. 在现实世界的场景中，您是否会简单地从整个域中采样客户端/设备，如果是这样，如果我要进行网格搜索，我是否必须首先修复我的客户端示例。在这种情况下进行网格搜索是否有意义。
选择参数的典型现实世界方式是什么，即这更像是一种启发式方法。?
科林。. .
问问题
54 次
1 回答
2
我认为联邦学习在这些领域仍有很多开放研究。
https://arxiv.org/abs/1912.04977的第 6 页描述了联合学习的跨设备和跨孤岛设置。
在跨设备设置中，人口通常非常庞大（数十万或数百万），并且参与者在整个培训过程中通常只被看到一次。在这种情况下，https ://arxiv.org/abs/2003.00295 表明，客户端学习率等超参数在确定模型收敛速度和最终模型准确性方面发挥着巨大的作用。为了证明这一发现，我们首先执行了一个大的粗网格搜索来识别有希望的超参数空间，然后在有希望的区域中运行更精细的网格。然而，这可能会很昂贵，具体取决于可用于模拟的计算资源，训练过程必须运行到完成才能了解这些影响。
可以将联邦学习视为非常大的 mini-batch SGD。其实https://arxiv.org/abs/1602.05629中的FedSGD算法就是这样。在这种情况下，重用集中模型训练的理论可能是富有成效的。
最后https://arxiv.org/abs/1902.01046描述了谷歌用于联合学习的系统，并且对超参数探索进行了小讨论。
于 2020-06-22T15:00:20.367 回答