我一直在考虑马尔可夫方程的信息熵：
H = -SUM(p(i)lg(p(i))，其中 lg 是以 2 为底的对数。
这假设所有选择 i 具有相等的概率。但是，如果给定的一组选择中的概率不相等怎么办？例如，假设 StackExchange 有 20 个站点，并且用户访问除 StackOverflow 之外的任何 StackExchange 站点的概率为 p(i)。但是，用户访问 StackExchange 的概率是 p(i) 的 5 倍。
马尔可夫方程在这种情况下不适用吗？还是有我不知道的高级马尔可夫变体？
从您的示例中，您是否在考虑马尔可夫链？
我相信您混淆了两个概念：熵和马尔可夫方程。熵测量状态分布的“无序”，使用您给出的方程：H = -SUM(p(i)lg(p(i))，其中 p(i) 是观察每个状态 i 的概率。
马尔可夫属性并不意味着每个状态都具有相同的概率。粗略地说，如果观察一个状态的概率仅取决于观察几个先前的状态，则可以说一个系统表现出马尔可夫特性——在某个限制之后，您观察到的额外状态不会为预测下一个状态添加任何信息。
原型马尔可夫模型被称为马尔可夫链。它表示从每个状态 i，您可以以另一个概率移动到任何状态，表示为概率矩阵：
0 1 2
0 0.2 0.5 0.3
1 0.8 0.1 0.1
2 0.3 0.3 0.4
在此示例中，从状态 0 移动到 1 的概率为 0.5，并且仅取决于处于状态 0（了解更多关于先前状态的信息不会改变该概率）。
只要可以从任何状态开始访问所有状态，无论初始分布如何，处于每个状态的概率都会收敛到稳定的长期分布，并且在“长序列”上，您将观察每个状态具有稳定的概率，每个状态不一定相等。
在我们的示例中，我们最终会得到概率 p(0)、p(1) 和 p(2)，然后您可以使用您的公式计算该链的熵。