问题标签 [tensorflow-federated]

我正在联邦学习设置中实现 skip-gram 模型。我通过以下方式获取输入和标签：

当我将损失定义如下

我收到以下错误

但是，以下代码（取自 sampled_softmax_loss 函数的 eval 部分）适用于相同的输入和标签！

如何解决此问题？

在联合学习上下文中，我尝试使用 TFF 模拟代码，因此我的数据集类型是“DatasetV1Adapter”（tf.data.Dataset），而不是教程ImageClassification 中的 emnist 数据集类型为“TensorSliceDataset”

那么这会导致问题吗？我必须更改数据集的类型吗？

我从我自己的数据集中用 TFF 编写了一个代码，除了这一行之外，所有代码都可以正常运行

在 train_data 中，我制作了 4 个数据集，加载了 tf.data.Dataset，它们的类型为“DatasetV1Adapter”

所有这些都运行正确，我得到了教练和状态：

除了，当我要开始训练和使用这段代码时：

我不能。错误来了！那么，错误可能来自哪里？从数据集的类型？或者我让我的数据联合的方式？

我正在学习“图像分类的联邦学习”教程，但使用的是我自己的数据集和 resnet50。运行时出现此错误iterative_process.next。

我相信这是由tf.data.Dataset.from_generator 我的代码引起的：

我得到了错误 InvalidArgumentError: TypeError: endswith first arg must be bytes or a tuple of bytes, not str 这里是更多信息

我的环境

更新

我已经升级了 tf==2.1.0 和 tff==0.12.0，错误消失了，但是我又得到了一个错误。

似乎生成器到达了最后一批并且与输入形状不匹配。

但是 ImageDataGenerator 不需要设置drop_remainder。我的代码有什么问题吗？

我正在尝试研究时间序列数据的联合机器学习。数据是从多个客户端收集的。如何将此数据转换为联合数据？

是否可以在智能手机上使用 Tensoflow Lite/或任何其他框架训练神经网络模型？

特别是在联邦学习的背景下？

我在联邦图像分类教程中实现了 Resnet34 模型。10轮之后，训练准确率可以高于90%，然而，使用最后一轮的评估准确率state.model总是在50%左右。

我很困惑评估部分可能有什么问题？此外，我打印了服务器模型的不可训练变量（BatchNorm 中的均值和方差），它们是 0 和 1，在这些轮次之后没有更新/平均。他们应该是那样还是那样可能是问题所在？非常感谢！

更新：

准备训练数据和打印结果的代码：

训练和评估代码：

每一轮之后的训练和评估结果：

在联邦学习环境中，应该工作的这样一种类方法是 tff.simulation.ClientData.from_clients_and_fn。在这里，如果我传递一个 client_ids 列表和一个在给定客户端 ID 时返回适当数据集的函数，您将获得一个功能齐全的 ClientData。

我认为在这里，定义我可能使用的函数的一种方法是构建一个 Python 字典，它将客户端 ID 映射到 tf.data.Dataset 对象——然后你可以定义一个接受客户端 ID 的函数，在dict，并返回数据集。所以我将函数定义如下，但我认为这是错误的，你怎么看？

我在这里假设 4 个客户端具有相同的数据集：'ds'

我试图了解 tensorflow 联合。我指的是https://www.tensorflow.org/federated/tutorials/custom_federated_algorithms_2#gradient_descent_on_a_sequence_of_local_data站点。这里我不明白如何在这个函数中打印每个客户端传递的值？

还有谁能告诉我 tff.sequence_reduce 的用途是什么。

请帮忙。

我正在分析我在 Tensorflow 中与 FedAvg 联合实施的一种方法。我需要为与服务器通信的每个客户端的增量权重创建一个直方图。每个客户端分别调用simulation/federated_avaraging.py，但问题是我不能在那里调用以下 API。tf.summary.histogram(). 任何帮助，将不胜感激。