问题标签 [tensorflow-federated]

我正在使用 tensorflow 联合 API 研究 federated_learning_for_image_classification.ipynb。

在示例中，我可以检查每个模拟客户训练的准确度、损失和总准确度、总损失。

但是没有检查点文件。

我想制作每个客户端检查点文件和总检查点文件。

然后比较客户端参数变量和总参数变量。

任何人都可以帮助我在 federated_learning_for_image_classification.ipynb 示例中制作检查点文件吗？

我尝试对我的数据使用 tensorflow 联合学习工具。我有两个从 csv 文件中获得的数据集（dataset 和 dataset2），其中前 15 列是特征，最后一列是标签。我将我的 pandas 数据框转换为 tensorflow 数据集。但是，在迭代器中，有一个奇怪的类型错误。我是 tensrflow 的新手并发送代码：任何帮助将不胜感激。提前致谢。

错误信息如下：

回溯（最近一次通话）：文件“/home/affectech/Desktop/Fed_son/Fed_son.py”，第 117 行，处于状态，metrics = iterative_process.next(state, list) 文件“/home/affectech/Desktop/Fed_son /venv/lib/python3.6/site-packages/tensorflow_federated/python/core/impl/utils/function_utils.py”，第 666 行，调用中 arg = pack_args（self._type_signature.parameter，args，kwargs，context）文件“/home/affectech/Desktop/Fed_son/venv/lib/python3.6/site-packages/tensorflow_federated/python/core/impl/utils/function_utils .py”，第 424 行，在 pack_args 上下文中）文件“/home/affectech/Desktop/Fed_son/venv/lib/python3.6/site-packages/tensorflow_federated/python/core/impl/utils/function_utils.py”，行346，在pack_args_into_anonymous_tuple result_elements.append((name, context.ingest(arg_value, elem_type))) 文件“/home/affectech/Desktop/Fed_son/venv/lib/python3.6/site-packages/tensorflow_federated/python/core/ impl/reference_executor.py”，第 629 行，在摄取中返回 to_representation_for_type(arg, type_spec, _handle_callable) 文件“/home/affectech/Desktop/Fed_son/venv/lib/python3.6/site-packages/tensorflow_federated/python/core/impl/reference_executor.py”，第 241 行，to_representation_for_type 中的 v 值文件“/home/affectech/Desktop/Fed_son/venv/lib/python3.6/site-packages /tensorflow_federated/python/core/impl/reference_executor.py”，第 241 行，in for v in value File “/home/affectech/Desktop/Fed_son/venv/lib/python3.6/site-packages/tensorflow_federated/python/core /impl/reference_executor.py”，第 200 行，to_representation_for_type 中的 v 值文件“/home/affectech/Desktop/Fed_son/venv/lib/python3.6/site-packages/tensorflow_federated/python/core/impl/reference_executor. py”，第 200 行，在值文件“/home/affectech/Desktop/Fed_son/venv/lib/python3.6/site-packages/tensorflow_federated/python/core/impl/reference_executor.py”中，第 192 行，在 to_representation_for_type callable_handler) 文件“/home/affectech/Desktop/Fed_son/venv/lib/python3.6/site-packages/tensorflow_federated/python/core/impl/reference_executor.py”，第 165 行，在 to_representation_for_type '类型规范 { }.'.format(inferred_type_spec, type_spec)) TypeError：值表示的张量类型float32[15]与类型spec float32[?,15]不匹配。

进程以退出代码 1 结束

吹代码中如何保存模型

如果要运行代码，请访问https://github.com/tensorflow/federated 并下载 federated_learning_for_image_classification.ipynb。

如果您告诉我如何在教程 federated_learning_for_image_classification.ipynb 中保存联邦学习模型，我将不胜感激。

我选择了这个数据集： https ://www.kaggle.com/karangadiya/fifa19

现在，我想将此 CSV 文件转换为联合数据集以适合模型。

Tensorflow 提供了有关联邦学习的教程，他们使用了预定义的数据集。但是，我的问题是如何将这个特定的数据集用于联邦学习场景？

我在 tensorflow federated 中实现回归模型。我从本教程中用于 keras 的简单模型开始：https ://www.tensorflow.org/tutorials/keras/regression

我将模型更改为使用联邦学习。这是我的模型：

我很困惑为什么当迭代过程返回一个小得多的 mse 时，训练集的 10 次迭代后评估的 mse 更高。我在这里做错了什么？是不是在 tensorflow 中 fml 的实现中隐藏了什么？有人可以向我解释吗？

我已经阅读了 tensorflow.org 上关于 tensorflow federated 的所有文档，但我不确定如何实现我自己的联合算法。例如，我有一个编译好的 keras 模型，我知道如何将其转换为 tff.computation。似乎为了构建一个联合算法，应该构建一个 iterative_process。任何人都可以在这方面帮助我吗？

太感谢了，

我正在寻找一种将客户端模型作为检查点的方法，我可以将其作为标准 keras 模型进行调查。我研究了这个问题，但它只提供了权重，有没有办法在联合训练期间直接从客户那里获取或保存模型？

我尝试在 Tensorflow Federated 的“图像分类”教程中自定义模型。（它最初使用的是顺序模型）我使用 Keras ResNet50 但是当它开始训练时，总是出现错误“不兼容的形状”

这是我的代码：

错误信息： 在此处输入图片描述

我觉得形状不兼容，因为时代和客户信息不知何故丢失了。如果有人能给我一个提示，将非常感激。

更新：

断言错误发生在tff.learning.build_federated_averaging_process

这是我的联邦学习测试的代码

现在，当我想像 tensorflow federtaed 中的教程一样创建 sample_batch 以进行图像分类时

我写了这一行，它发现了这个错误

错误

1 training_set1.element_type_structure 中的 TypeError Traceback（最近一次调用）----> 2 example_dataset = training_set1.create_tf_dataset_for_client(training_set1.client_ids[0])

TypeError: 'abstractproperty' 对象不支持索引

你能告诉我我必须如何创建 dummy_batch 以便将 keras 模型转换为 tff.learning.from_compiled_keras_model(model, dummy_batch)

（我已经在https://github.com/tensorflow/federated/issues/793上发布了这个问题，也许也在这里！）

我已经将我自己的数据和模型定制为联合接口并且训练融合了。但是我对一个问题感到困惑，在图像分类任务中，整个数据集非常大，它不能存储在一个单一的文件中federated_train_data，也不能一次导入到内存中。所以我需要将数据集从硬盘分批实时加载到内存中，Keras model.fit_generator而不是model.fit在训练期间使用人们用来处理大数据的方法。

我想在iterative_process图像分类教程中显示，该模型适合一组固定的数据。有没有办法调整代码以使其适合数据生成器？我已经查看了源代码，但仍然很困惑。将非常感谢任何提示。