artificial-intelligence - MDP - 产生转移概率的技术

Question

我正在处理如下 MDP 汽车供需问题，并且正在考虑是否有任何技术可以自动而不是手动生成转移概率矩阵。

假设需求如下：
time, station1, station2
1000, 3, 1
1030, 3, 1
1100, 2, 3

假设从 station1 出发的汽车，有 60% 的机会在 station1 下车，在 station2 下车的几率为 40%。假设从 station2 出发的汽车，有 80% 的机会在 station1 下车，在 station2 下车的可能性为 20%。

我已经手动计算了以下内容。

在时间步 1，

P(car at station1 = 2,car at station2 = 8) = 0.0432
P(car at station1 = 3,car at station2 = 7) = 0.2016
P(car at station1 = 4,car at station2 = 6) = 0.1344
P(car at station1 = 5,car at station2 = 5) = 0.0896
P(car at station1 = 6,car at station2 = 4) = 0.0512

因此，想检查是否有人可以提供见解以自动计算时间步 2 的概率，而不是手动计算。

请为您提供建议。

Answer 1

我不确定我是否理解你的问题。

如果在平稳马尔可夫过程中，状态变量x_t（这里是汽车所在的车站）在给定时间的分布t仅是转移矩阵P和当时状态的函数t-1。

你可以 x_t = x_{t-1} * P为any写t，这意味着x_t = x_0 * P^t。

知道x_0（开始时的汽车分布，例如，如果汽车均匀分布在两个车站之间x_0 = [0.5 0.5]）并使用P = [ 0.6 0.4 ; 0.8 0.2 ]，您就可以随时得到汽车的t > 0分布x_t = x_0 * P^t。