问题标签 [federated-learning]

联邦学习研究的一部分基于对服务器和客户端之间的通信执行的操作，例如丢弃客户端和服务器之间交换的部分更新（丢弃一些描述模型的梯度）或丢弃来自特定客户端的特定通信中的更新圆形的。我想知道 Tensorflow-federated (TFF) 框架是否支持此类功能以及如何支持它们，因为乍一看，在我看来，TFF API 的抽象级别不允许此类操作。谢谢你。

我已经准确地阅读和研究了 TFF指南和API页面。但我对一些细节部分感到困惑。

例如，当我想包装/装饰一个TF/python函数时，使用下面这两个 API：

我找不到它们之间的区别以及何时允许使用它们。特别是，如果我想使用除FedAvg或FedSgd之外的其他算法。我想知道你是否知道：

1. 它们如何被用来操纵输入？他们在@CLIENT或@SERVER上工作吗？
2. tff.federated_mean除了输出或tff.federated_sum值将在服务器中 之外，我如何在其他用途​​中使用它们？
3. 我如何能够访问@CLIENT和@SERVER中的数据和指标的详细信息？
4. 为什么我们应该调用tff.tf_computation()from tff.federated_computation()？在这个链接中，没有关于它们的任何解释。
5. 这些 API（例如tff.federated_mean或tff.federated_sum）是否修改每个@CLIENT 的输出元素并将它们带到@SERVER？

谁能帮我理解这个概念背后的直觉？

我选择了这个数据集： https ://www.kaggle.com/karangadiya/fifa19

现在，我想将此 CSV 文件转换为联合数据集以适合模型。

Tensorflow 提供了有关联邦学习的教程，他们使用了预定义的数据集。但是，我的问题是如何将这个特定的数据集用于联邦学习场景？

我在 tensorflow federated 中实现回归模型。我从本教程中用于 keras 的简单模型开始：https ://www.tensorflow.org/tutorials/keras/regression

我将模型更改为使用联邦学习。这是我的模型：

我很困惑为什么当迭代过程返回一个小得多的 mse 时，训练集的 10 次迭代后评估的 mse 更高。我在这里做错了什么？是不是在 tensorflow 中 fml 的实现中隐藏了什么？有人可以向我解释吗？

我已经阅读了 tensorflow.org 上关于 tensorflow federated 的所有文档，但我不确定如何实现我自己的联合算法。例如，我有一个编译好的 keras 模型，我知道如何将其转换为 tff.computation。似乎为了构建一个联合算法，应该构建一个 iterative_process。任何人都可以在这方面帮助我吗？

太感谢了，

让我们考虑一下，我有四个模型，分别是 M1（客户端 1）、M2（客户端 2）、M3（客户端 3）和 M4（客户端 4）。每个模型都有相似的结构。

模型结构

在为每个客户端模型训练之后。我已经将这些模型聚合在一起并创建了一个新模型，我们可以说是“EnsModel”。之后，我使用这个集成模型再次为每个客户重新训练新数据。但是，当我再次尝试集成更新后的模型时，我遇到了“ValueError：名称“Sequential”在模型中使用了 4 次。所有图层名称都应该是唯一的？”的问题。

有人可以帮帮我吗？我也有一个问题。有什么方法可以为每个客户建模修改集成模型结构？

谢谢你。

我正在尝试使用 Pytorch 进行联合学习的线性回归算法，但遇到以下错误。我正在 Colab 上实现它。根据我的说法，这个错误可能是由于 train() 函数中的一些代码行。如果您曾与 Pysyft 合作过并且之前遇到过此类错误，请提供帮助。

以下是代码：

我尝试在 Tensorflow Federated 的“图像分类”教程中自定义模型。（它最初使用的是顺序模型）我使用 Keras ResNet50 但是当它开始训练时，总是出现错误“不兼容的形状”

这是我的代码：

错误信息： 在此处输入图片描述

我觉得形状不兼容，因为时代和客户信息不知何故丢失了。如果有人能给我一个提示，将非常感激。

更新：

断言错误发生在tff.learning.build_federated_averaging_process

这是我的联邦学习测试的代码

现在，当我想像 tensorflow federtaed 中的教程一样创建 sample_batch 以进行图像分类时

我写了这一行，它发现了这个错误

错误

1 training_set1.element_type_structure 中的 TypeError Traceback（最近一次调用）----> 2 example_dataset = training_set1.create_tf_dataset_for_client(training_set1.client_ids[0])

TypeError: 'abstractproperty' 对象不支持索引

你能告诉我我必须如何创建 dummy_batch 以便将 keras 模型转换为 tff.learning.from_compiled_keras_model(model, dummy_batch)

（我已经在https://github.com/tensorflow/federated/issues/793上发布了这个问题，也许也在这里！）

我已经将我自己的数据和模型定制为联合接口并且训练融合了。但是我对一个问题感到困惑，在图像分类任务中，整个数据集非常大，它不能存储在一个单一的文件中federated_train_data，也不能一次导入到内存中。所以我需要将数据集从硬盘分批实时加载到内存中，Keras model.fit_generator而不是model.fit在训练期间使用人们用来处理大数据的方法。

我想在iterative_process图像分类教程中显示，该模型适合一组固定的数据。有没有办法调整代码以使其适合数据生成器？我已经查看了源代码，但仍然很困惑。将非常感谢任何提示。