问题标签 [value-iteration]

在通过不同来源研究 MDP 时，我遇到了两个不同的用于 Value-Iteration 算法中的值更新的公式。

第一个是（维基百科上的那个和几本书）：

.
第二个是（在堆栈上的一些问题中，我的课程幻灯片）：

对于特定的迭代，他们似乎没有给出相同的答案。其中之一是否更快地收敛到解决方案？

我目前正在从事我的博士论文编码工作。本文基于 Arellano (2008) 处理选择性违约。从@quantecon notebooks 获得灵感。

我正在尝试使用 Numba 在 Python 中创建一个迭代一堆变量的函数，但是其中一个是有条件的。也就是说，根据自然状态的概率，迭代必须不同。我曾尝试使用 if/else 语句，但 Python 指出语法错误。该代码是我博士论文的价值函数迭代。这是我写的：

错误在最后一部分，我收到以下消息：

如果有人提供帮助，我将不胜感激！

谢谢 ：）

我在一本书中找到了这个样本，这是我第一次看到这个符号。显然它比做一个开关要短一千倍。但它是什么？当我这样做时 typeof(status)，它返回未定义。

我想了解它是什么，以便我可以在下一个代码中更频繁地应用它！

谢谢！

我已经看过了，想知道我的数学问题在哪里。我相信它应该正确计算，但浮点数不会四舍五入，0.75 到 1 以增加出生/死亡人数。我是c的新手。这是我到目前为止的代码：

我使用的是多头，因为数字可能从数千开始。在出生/死亡的划分中，花车是为了更精确，更圆润。本质上，它应该分别增加大约 1/10/100... 的单个/数十/数百 ... 输入。输入 9 时为 1.25。这就是小数点很重要的地方。从技术上讲，每 4 年我会额外获得 1 次。说18结束应该是8年。

谢谢你。

我正在达到最大递归深度，并且我一直在尝试使用np.tensordot()我无法真正了解在这种情况下如何使用它。

这些是输入

我想知道是否有办法摆脱循环并仅使用 Numpy 操作来提高效率。

这是我在这里提出的第一个问题，我希望能正确地做到这一点！

我有一个包含数百万个观察值的数据集。每行是不同个人在不同日期提取的药物处方，每个人在数据框中出现多次。

^{由reprex 包（v0.3.0）于 2021-06-19 创建}

变量“转换”表示个人是否在该处方中转换了与先前处方相关的药物。我需要知道每个人第三次换药的日期。但是我很难过，因为我似乎无法在每个观察值上创建变量“switch”的迭代求和。设法创建类似的东西就足够了：

我尝试创建一个 for 循环，但我想这对于我的初学者技能来说太高级了，因为我只设法创建了一个 NULL 数据框。

^{由reprex 包（v0.3.0）于 2021-06-19 创建}

我感谢您的帮助！

嗨，我正在编写一个 python 代码来将搜索和编辑数据输入到 excel 中。

我为 UI 选择的格式是 PySimpleGUI，我的 xlsx 包是 openpyxl。

我已经编码了大约 3 周。

我可能咬得比我能咀嚼的多，但我不会放弃。

我需要知道为什么我的 for 循环不起作用，以便我可以修复它。

这是有问题的代码：

我每晚花了好几个小时阅读 openpyxl 文档，并且执行了许多我现在分享的谷歌搜索！