我正在尝试在联合学习场景中训练深度强化学习模型。Tensorflow Federated (TFF) 是否支持将强化学习 (RL) 作为 ML 模型？我知道联邦学习主要是针对监督学习进行讨论的，我很好奇强化学习是否也可以在 TFF 中使用。
如果是这样，你会推荐哪个库在 TFF 中使用 RL？
问问题
283 次
1 回答
3
简短的回答是肯定的，TFF 可以支持 Federated Core API 级别的强化学习；请注意，tff.learning 目前没有实现 RL（尽管我们欢迎这样的贡献）。从机器学习的角度来看，可以把 TFF 看成是 TF 之上的一个通信层，TF 支持的任何东西，TFF 都可以支持。
我将尝试了解长答案的一些关键特征：
首先，联邦强化学习是一个非常开放的研究问题。考虑到训练 RL 模型的一般难度，我认为 FL 社区会很高兴看到在联邦环境中训练的代理能够重现经典的 RL 结果，我们会很高兴看到这样的事情在 TFF 中实现。
其次，TFF 通常支持任何基于 TensorFlow 的迭代学习过程，尤其是基于梯度的学习。可以想象在联邦环境中对 RL 建模的许多可能方式；TFF 支持传递任何类型的更新，因此就联合 RL TFF 可以支持的实例化而言，天空是极限。
最后，我认为在 TFF 中实现 RL 的起点可能只是在 vanilla TensorFlow 中以模块化方式实现 RL。在您选择的 RL 联合模型中必须发生的任何通信都必须在 TensorFlow 之间以 TFF 形式编写。如果你用 tf.function 模块化地实现你的actor和你的critic，那么在@tff.federated_computation装饰器中实现你需要的通信应该是相对简单的。有关混合 TF 和 TFF 代码的建议，请参阅TFF 的主要作者的这篇文章。
于 2019-04-01T21:35:31.480 回答