我正在寻找一种方法来计算流数据的香农信息熵估计 H'(X)。随机变量 X 的状态空间很大，数千次这样的计算会并行运行，因此在内存中存储每个 X 观测值和对应的计数器是不可行的，因此无法使用常规计算公式。
据我所知，互联网上没有这种算法的实现。我所能找到的只是几篇包含大量数学内容（可能还有一些伪代码）的论文，我要么无法从实际的角度解读，要么算法无法用于一般目的（例如要求流大小已知） - 示例：[1]。
是否有任何可用的实现/可用算法或 Python 库用于我无法找到的数据流的熵估计计算？或者是否有另一种方法如何以内存友好的方式检索熵估计？提前致谢。
[1] LALL A. 等人。用于估计网络流量熵的数据流算法。2006. [在线]。可在：https ://www.cc.gatech.edu/~jx/reprints/Sigm06_entropy.pdf