“federated-learning”的相关标签问题

0 投票

1 回答

264 浏览

python - AttributeError：“WebsocketServerWorker”对象没有属性“add_dataset”

当我使用 pysyft 做一些联邦学习任务时，出现错误：

AttributeError：“WebsocketServerWorker”对象没有属性“add_dataset”

错误：

我不知道如何解决它:(

2020-08-26T02:59:07.443

0 投票

1 回答

102 浏览

python - 如何保存 TensorFlow 联合模型

如何轻松保存 Tensorflow 联合模型？（状态）

几个月前，我在导入ServerState和FileCheckPointManager后使用了这个解决方案，它起作用了：

但是现在这个解决方案不再有效，因为ServerState不再包含from_tff_resultmethotd。

还使用包含方法的旧版本的 ServerState 我得到：

如何轻松保存我的联合模型？

python tensorflow federated-learning

2020-09-03T11:47:09.440

0 投票

0 回答

90 浏览

python - PySyft Worker 过拟合

我尝试用 pysyft 训练图像分类（cifar10）。我的 trainsetup 有 10 个工作人员，每个工作人员获得数据集的 800 到 1200 张图像。

我的问题是，在大约 250-300 个 epoch 之后，训练损失大约为 0.005，模型停止改进，尽管测试准确度仅为 45% 左右，损失增加 1.5 -> 8.5。我在 500 张图像上对 100 名工作人员进行了相同的尝试，结果停止在 32%。此外，实现是模型和 FL 框架之间比较的一部分，因此模型不能更改，数据将在本地加载并转换为 Dataloader。因此，我对 Pytorch 和 PySyft 非常缺乏经验，可能是我在训练模型时犯了一些错误，尽管我试图尽可能地接近这个例子。

我在没有 PySyft 的情况下训练了模型，它达到了大约 85%，所以我认为我的数据加载器和模型应该不是问题。对我来说，看起来工人在训练期间过度拟合了他们自己的数据。

有没有办法防止工人过度拟合或计算全局模型而不是工人的损失？

教练：

模型：

主要的：

日志：

python machine-learning pytorch federated-learning pysyft

2020-09-14T06:02:06.823

0 投票

2 回答

235 浏览

dart - 在联合模型中使用飞镖鸽

我正在考虑使用 pigeon 将 dart 包 ( https://pub.dev/packages/sounds ) 转换为联合模型。

梳理这两部分的文档有点稀疏。

查看 video_player 示例（https://github.com/flutter/plugins/tree/master/packages/video_player/video_player_platform_interface）似乎建议使用联合模型，因为 Web 平台是独立的。

然而，android 和 ios 包都是主包的一部分。

这只是一个历史文物还是 ios 和 android 包仍然需要成为主插件的一部分？

如果可以将它们分开，那么正确的包结构是什么？

那么，是否有任何开源插件在完全联合的模型中使用 pigeon 可以用作样本？

dart plugins federated-learning

2020-09-24T00:28:34.157

0 投票

1 回答

442 浏览

python - 在联邦学习中如何选择“数据”和“目标”？(PySyft)

我不明白如何在下面的函数 train() 中选择变量（数据、目标）。

我猜它们是代表数据集训练的 2 个随机图像的 2 个张量，但随后是损失函数

在每次与不同目标的交互时计算？

我也有不同的问题：我用猫的图像训练了网络，然后我用汽车的图像对其进行了测试，达到的准确率为 97%。这怎么可能？是正确的值还是我做错了什么？

这是整个代码：

python pytorch federated-learning pysyft

2020-09-24T16:15:18.570

0 投票

1 回答

672 浏览

python - 如何在 Tensorflow Federated 中加载 Fashion MNIST 数据集？

我正在与 Tensorflow 联合开展一个项目。我已经设法使用 TensorFlow Federated Learning 模拟提供的库来加载、训练和测试一些数据集。

例如，我加载了 emnist 数据集

它得到了 load_data() 返回的数据集作为 tff.simulation.ClientData 的实例。这是一个允许我迭代客户端 ID 并允许我选择数据子集进行模拟的界面。

我正在尝试使用 Keras 加载 fashion_mnist 数据集以执行一些联合操作：

但我得到这个错误

因为 Keras 返回一个 Numpy 数组的元组，而不是像以前一样的 tff.simulation.ClientData：

总结一下，

有什么方法可以tff.simulation.ClientData从 Keras Tuple Numpy 数组创建元组元素？
Another solution that comes to my mind is to use the tff.simulation.HDF5ClientData and load manually the appropriate files in aHDF5format (train.h5, test.h5) in order to get the tff.simulation.ClientData, but my problem is that i cant find the url for fashion_mnist HDF5 file format i mean something like that for both train and test:

My final goal is to make the fashion_mnist dataset work with the TensorFlow federated learning.

python tensorflow keras tensorflow-federated federated-learning

2020-11-09T22:52:23.837

0 投票

2 回答

242 浏览