statistics - kullback leibler 散度限制

Question

对于 N 个值的分布，我如何有效地限制同一随机场上所有非负分布之间的最大分歧？例如，对于取值在 ([1,2,3,4]) 中的随机变量的所有分布，即 N = 4，并且 a = 1 或 a = 2 或 a = 3 或 a = 4 总是非零（但可以非常小，例如 1e-1000）。

是否存在已知界限（除了无穷大）？假设给定数字 N，均匀分布 [1/4 1/4 1/4 1/4] 和“delta” [1e-10 1e-10 1e-10 1/(1+3e-10) ]超过N是最大的？...

提前谢谢大家，A。