问题标签 [federated-learning]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
16 浏览

tensorflow-federated - TFF :更改代码对更改测试精度值没有影响

为了改进本教程并测试其他内容,我在 EMNIST 数据库中以集中方式对网络进行了预训练。然后我想用上面的联合代码微调预训练网络。所以,我只补充了:

问题是,与没有微调预训练网络的测试准确度值相比,我发现相同的测试准确度值。你能给我解决方案吗?

0 投票
1 回答
51 浏览

tensorflow-datasets - 使用 FilePerUserClientData 耗尽 RAM

我在使用培训时遇到问题tff.simulation.FilePerUserClientData- 在每轮 10 个客户端进行 5-6 轮后,我很快就会用完 RAM。每一轮的内存使用量都在稳步增加。我试图缩小范围,并意识到问题不是实际的迭代过程,而是客户端数据集的创建。简单地在循环中调用create_tf_dataset_for_client(client)会导致问题。

所以这是我的代码的最小版本:

我正在使用 tensorflow 联合 19.0。

我创建客户端数据集的方式是否有问题,或者是否以某种方式预期上一轮的 RAM 没有被释放?

0 投票
1 回答
47 浏览

tensorflow - TypeError: __init__() 得到了一个意外的关键字参数“initialize_fn”

我使用 TFF v:0.18 我想在里面加载一个预训练的网络create_keras_model()所以我写这个:

但我发现这个错误:

我不相信语法是错误的,

0 投票
1 回答
73 浏览

tensorflow-federated - 联邦学习中使用的客户端数量有限

我刚开始研究联邦学习,想把它应用到某个数据集上,出现了一些问题。

我的数据包含 3 个类别的记录,每个类别都有 3 个部门。我计划为每个类别有 3 个不同的联邦学习模型,并将该类别的三个部门视为分布式客户。

这可能吗?还是构建联邦学习模型需要拥有成千上万的客户?

谢谢

0 投票
1 回答
44 浏览

python - 如何展平测试图像数据集并创建一批(展平图像,标签)元组?

我正在 使用联邦学习进行手写数学的符号分类。我已经对图像进行了预处理,keras.preprocessing.image.ImageDataGenerator并获得了每个图像的标签。

获取标签:

如何制作需要发送给客户的扁平图像和标签元组?从 tensorflow 教程Building Your Own Federated Learning Algorithm中可以看出

从教程:

0 投票
0 回答
21 浏览

python - Keras:如何保存具有优化器状态的 GAN 模型?

我知道一种用途是使用 Checkpoint 和 CheckpointManager tensorflow 类来保存和恢复 GAN 的训练。

我正在寻找一种方法来保存生成器 (G) 、鉴别器 (D) 及其优化状态,以便我可以操纵模型权重(对于 G 和 D)。对我来说,一个用例是在 GAN 的联邦学习中平均不同生成器的权重。

我发现使用 Keras 或 tensorflow 无法做到这一点。

0 投票
0 回答
1814 浏览

python - InvalidArgumentError:tensorflow_federated 中的图形执行错误:

我正在联合学习中对数学手写符号进行分类,并按照教程使用联合学习进行图像分类。错误出现在服务器广播部分的结尾处,完整错误:-

Keras 模型:-

模型_fn()

我一直在接受联合数据的培训:-

错误出现在

0 投票
0 回答
11 浏览

python - Linux VM 上的 gRCP 协议

我有以下问题。我想使用联邦学习来训练机器学习模型。为此,我想使用“flower”包,它用于服务器和客户端之间的通信 gRCP 协议。我无法让这种沟通发挥作用。

我的设置如下。我有一台 Windows10 主机,但我在 Ubuntu 虚拟机中开发所有代码。到目前为止,我对这个设置从来没有遇到过问题。但我没有问题,我用于客户端和服务器的相同代码可以在我的 Windows 主机上运行,​​但不能在我的 Ubuntu VM 上运行。

对于测试场景,我正在使用名为“helloworld”的 python 的 gRCP 包中的快速入门:https ://grpc.io/docs/languages/python/quickstart/

在客户端,我们有以下代码:

在服务器端:

在 Windows 上使用此设置时,连接没有问题,而在 VM 中运行相同的代码时,会出现以下错误:

我尝试了不同的端口,将本地主机切换到“[::]”或“0.0.0.0”,但没有任何效果。显然我无法在我的虚拟机中创建本地网络。

有没有人遇到过类似的问题并可以帮助我?谢谢!

0 投票
0 回答
29 浏览

tensorflow - Keras - 如何为某些图层设置权重

我想为现有模型设置权重,例如 VGG 16。但是,我只想为模型设置权重,不包括最后一个(完全连接的)层。我已经尝试使用model.layers[:-1].set_weights(weights[:-1]),它会导致错误

有一种解决方案使用 for 循环来设置权重,但效率低下。

有没有办法为模型的某些层设置权重?谢谢!

0 投票
0 回答
22 浏览

keras - ValueError: pic 应该是 2/3 维。有 1 个维度

我正在使用英特尔 OpenFL 运行联邦学习实验。我在 Keras 中有 MNIST 的分片描述符,但我想使用 PyTorch。分片描述符的代码是这样的:

如果我在 PyTorch 实验中使用相同的代码,则会出现此错误ValueError: pic should be 2/3 dimensional. Got 1 dimensions.

我试图改变这一点:

有了这个解决方案,它似乎工作了,培训就开始了。但是,我获得了奇怪值(超出范围 0-100%)的准确度,所以我试图保持 keras 代码的相同结构。

我的网络是这样的:

这是我的转变: