问题标签 [stochastic-process]

令 X_n 为 MC，P 不规则

假设我们有一个固定距离 (pi_0, ..., pi_n) 和 P(X_0 = i) = 0.2，这说明什么？

为了更清楚：

我问是因为卡林说，当静止距离不是限制距离时，P(X_n = i) 取决于初始分布。这到底是什么意思？

我最难尝试将这个方程实现到 R 中的非线性求解器中。我正在尝试nleqslv和BB包，但到目前为止除了错误什么也没有。我已经搜索并阅读了文档，直到我的眼睛流血，但我无法将我的大脑包裹在它周围。方程本身是这样工作的：

方程

其中s2和是已知的s2.bar等price长向量。

我尝试的最后一次尝试BB是这样的：

早上好。我是新来的。在发布之前，我搜索了类似的问题，但我发现仅使用不同的编程语言类似的问题，但是发现的问题不完整。

好的，我的问题是找到一个 VBA 代码，一旦在 Excel 中调用，它只需要我的几何布朗运动 (GBM) 参数（初始股票价值 s、到期 t、波动率 z、无风险利率 r、股息 q , 步数 n), 我需要重现的轨迹数 m。作为输出，我不想看到任何数字，只有叠加的 m 轨迹的一个图。

问题是，我不能直接逐个单元（然后携带）编写它，因为从计算能力的角度来看，这样太复杂了；它将允许制作类似 15 条轨迹的东西，仅此而已。因此解决方案是在 VBA 中工作。

我的第一步是

此代码有效；我的意思是，它给出了一个数字，这是 ONE gbm 的第 n 步。

改变

和

我将获得该特定gbm的第 i 步。

因此，所有步骤都存储在内存中，这很好。

我的问题是：我如何创建 GBM 的 m 个不同实现（即重复我之前的步骤 m 次，将 m 作为输入给出）并为它们中的每一个自动创建一个图？

我认为应该考虑一些循环，但我是初学者，我不知道如何做到这一点。

我想我可以创建一个 n 维数组，在其中存储 GBM 步骤，绘制它们，然后重复 m 次；问题是我想念这门语言，我正在学习它，但这需要时间，一些帮助可能会有用。

仅从图形的角度来看，最终结果应该是这样的（我指定了图形 pov，因为在链接中有数字，所有的工作都是逐个单元格完成的，正如我之前所说，我需要避免这种情况）。

非常感谢。

更新：感谢 Tehscript，我的问题得到了部分解决。他/她好心提供的代码允许将 m 个 GBM 中的每一个的 n 步存储在一个数组数组中。因此仍然是解决我的问题的最后一步：如何绘制这些数据？

我正在构建一个聚类算法以用于我尚未见过的数据，因此我同时使用了一些伪数据。PAM 的结果表明我没有任何孤立的集群，但使用 TSNE 的 ggplot 显示我有结构良好的集群。我怀疑这是由于我的虚假数据造成的。有人对为什么会这样有任何想法吗？

这是数据，请注意，Age 和 howOld 代表不同的东西：

这是我在第一次定义我的序数变量级别后构建的模型

在 PAM 上获取隔离信息时，我得到：

但是绘图显示了一些结构良好的集群

有任何想法吗？如果我删除所有连续变量，我会得到非常未定义的集群，但有些被认为是孤立的......

我读过一些关于在强化学习中使用其他分布来建模随机策略的文章。通常我们使用高斯分布，但有些使用 Beta 分布：https ://en.wikipedia.org/wiki/Beta_distribution

Tensorflow 内部已经有一个 Beta 分发类，允许人们将其用作张量。但是对于一些策略梯度方法，他们使用 Kullback Leiber Divergence 对优化过程使用约束。

在公式中，有已在 Tensorflow 中实现的 digamma 函数。但是我在 Tensorflow 中找不到 beta 函数（也找不到 gamma 函数，因为它们是链接的）。仅记录 gamma 或不完整的 gamma。而且我不能使用 scipy.special.beta 函数，因为它不能操纵张量（因为我的 alpha 和 beta 参数是由神经网络产生的）

我在这个领域不够专业，也许我的问题很愚蠢，但我真的很想在那里解释一下。

非常感谢

我正在努力理解马尔可夫决策过程的一个方面。

当我处于状态 s 并执行动作 a 时，到达状态 s+1 是确定性的还是随机的？

在大多数示例中，它似乎是确定性的。然而，我在下图中发现了一个示例（David Silvers 关于 RL 的讲座），其中的过渡是随机的。即跟随动作“Pub”。

在下面的示例中，它能够找到正确的斜率 (m)，但在截距 (b) 上完全消失，它总是接近于零。除非我给 ba 1000 倍的学习率。

为什么会这样？不同类型的参数需要不同的学习率吗？

b 没有 1000 倍学习率的示例结果：

m=3.1509653303 b=0.0360896063255

b 学习率为 1000 倍的示例结果：

m=3.14160584013 b=6.27263311371

这是怎么回事？

我创建了以下马尔可夫链模型。我正在努力从数学上证明我的模型可以正常工作，或者不能正常工作。

顺序：开始，状态1，状态2，状态3，状态3，状态2，状态1，状态2，状态1，结束

状态：开始，状态1，状态2，状态3，结束

分配：

令牌对：

每个键后面的可能标记：

过渡矩阵：

我使用 MLE 来计算转换矩阵。

问题：我如何在数学上证明，如果我的模型正在工作……例如计算平均误差的平方。

我有个主意。如果我把这个序列作为正确的序列。并尝试使用矩阵提出建议。在每一步中，我将测试建议是否与我证明的序列相同。因此总结了错误（error_sum）。我的错误将是 error = error_sum/all_steps。

从理论上讲，这将起作用。但我正在寻找的是一种经过数学证明的方法，我可以证明为什么这种方法是一个好主意。你能给我一些建议吗？

I'm struggling to come up with a non-obfuscating, efficient way of using numpy to compute a self correlation function in a set of 3D vectors.

I have a set of vectors in a 3d space, saved in an array

their self correlation function is defined as

in case the image above doesn't stay available, the formula is also printed below: C(t,{v}n) = \frac 1{n-t}\sum{i=0}^{n-1-t}\vec v_i\cdot\vec v_{i+t}

I'm struggling to code this up in an efficient way, non-obfuscating way. I can compute this expliticly with two nested for loops, but that's slow. There is a fast way of doing it by using one of the embedded functions in numpy, but they seem to be using an entirely different definition of correlation function. A similar problem has been solved here, How can I use numpy.correlate to do autocorrelation? but that doesn't handle vectors. Do you know how can I solve this?

假设我们有一个十状态系统，其中观察可以以相等的概率进入系统以十个状态中的任何一个状态，并以相同的概率从给定状态移动到新状态（观察的新状态不以它之前的状态为条件）状态和观察可以保持在其当前状态）。此外，一个人可以在任何给定的十个状态中的任何一个状态下“死亡”，包括其当前状态。这究竟是如何在 R 中设置的，或者这在 R 中甚至是不可能的？