tensorflow-federated - 当使用非 IID 数据集的联邦学习中工作人员数量增加时，验证准确度会降低

Question

我使用具有 6 个类的人类活动识别 (HAR) 数据集使用联邦学习 (FL)。在这种情况下，我通过将（1）每个类数据集分配给不同的 6 个工作人员，（2）两个类分配给 3 个不同的工作人员，以及（3）三个类分配给 2 个不同的工作人员来实现非 IID 数据集。

当我运行 FL 过程时，场景 (3) > (2) > (1) 的验证准确度。我希望所有场景都能获得几乎相同的验证准确度。对于每个场景，我使用相同的超参数设置，包括批量大小、随机缓冲区和模型配置。

它在非 IID 数据集的 FL 中很常见，还是我的结果有任何问题？

Answer 1

每个工人只有一个（和所有）一个标签的场景可以被认为是联合平均的“病态不良”非独立同分布。

在这种情况下，每个工作人员都可能只学习预测其拥有的标签。该模型不需要区分任何特征：如果一个工人只有第 1 类，它可以预测第 1 类并获得 100% 的准确率。每一轮，当所有的模型更新被平均时，全局又回到了一个模型，它只以 1/6 的概率预测每个类别。

示例的每个工作人员分布越接近全局分布（或彼此之间，即客户端数据集的 IID 越多），其本地训练将产生对全局模型的更新，该更新与平均更新方向相同，从而获得更好的训练效果。