1

我有一个我希望使用某种基于贝叶斯模拟的框架来解决的随机最优控制问题。我的问题具有以下一般结构：

s_t+1 = r*s_t(1 - s_t) - x_t+1 + epsilon_t+1
x_t+1 ~ Beta(u_t+1, w_t+1)
u_t+1 = f_1(u_t,w_t, s_t, x_t)
w_t+1 = f_2(u_t,w_t, s_t, x_t)
epsilon_t ~ Normal(0,sigma)
objective function: max_{x_t} E(Sigma_{t=0}^{T} V(s_t,x_t,c) * rho^t)

我的目标是探索 f_1、f_2 和 V 的不同函数形式，以确定该模型与非随机模型和另一个更简单的随机模型有何不同。

状态变量是 s_t，控制变量是 x_t，u_t 和 w_t 代表当前状态的某种信念。目标函数是时间段 t=0 到 t=T 内增益（函数 V）的折现最大值。

我正在考虑使用 Python，特别是 PyMC 来解决这个问题，虽然我不确定如何进行，特别是如何优化控制变量。我找到了一本书，出版于 1967 年，Masanao Aoki 的随机系统优化，其中引用了一些可能有用的贝叶斯技术，是否有当前的 Python 实现可能会有所帮助？或者有没有更好的方法来模拟最佳路径，使用 Python？

4

1 回答 1

1

我想到的第一个猜测是尝试神经网络包，例如chainer或theano可以跟踪成本函数相对于控制函数参数的导数；他们还有一堆优化插件例程。您可以使用它numpy.random来生成样本（粒子），从库组件中组合您的控制函数，并通过显式欧拉方案运行它们以进行首次尝试。这将为您提供粒子的成本函数及其相对于参数的导数，可以将其提供给优化器。

这里可能出现的问题是求解器的迭代将创建大量导数跟踪对象。

更新： 请在 Github 上查看此示例

在 Github 上也有一些关键字点击particle filter python：

https://github.com/strohel/PyBayes

https://github.com/jerkern/pyParticleEst

还有一篇手稿提到作者在 Python 中实现了过滤器，所以你可能想联系他们。

于 2015-11-26T08:50:52.173 回答