问题标签 [entropy]

Jeff Atwood 最近在推特上发布了一个指向 CodeReview 帖子的链接，他想知道社区是否可以改进他的“计算字符串的熵”代码片段。他解释说：“我们在 Stack Overflow 的几个地方计算字符串的熵，作为低质量的标志。”

他的方法的要点似乎是，如果您计算字符串中唯一字符的数量，则表示熵（代码取自PieterG 的答案）：

我不明白唯一字符数如何表示字符串的熵，以及字符串的熵如何表示低质量。我想知道在这方面有更多知识的人是否可以解释阿特伍德先生正在努力实现的目标。

谢谢！

我目前正在使用语言建模进行分类任务。该项目的第一部分涉及使用 n-gram 语言模型使用 c5.0 对文档进行分类。项目的最后一部分要求我使用交叉熵对每个类进行建模，并根据这些模型对测试用例进行分类。

有没有人有使用交叉熵的经验，或有关如何使用交叉熵模型对数据进行采样的信息的链接？任何信息都会很棒！谢谢

我遇到了一个问题

在这个问题中，它说只是分析而不进行任何计算，猜测最佳属性（颜色或风味）

有人可以解释如何在不计算熵的情况下猜测这个等等

我需要为我正在编写的应用程序提供合理的高质量随机数据。Linux 为此提供了 /dev/random 文件，这是理想的；但是，由于我的服务器是单服务虚拟机，它的熵源非常有限，这意味着 /dev/random 很快就会耗尽。

我注意到，如果我从 /dev/random 读取数据，在等待更多熵的设备阻塞之前，我只会得到 16 个左右的随机字节：

如果我终止此过程，离开一小时并重复该命令，则再次仅产生 16 个左右字节的随机数据。

但是- 如果我让命令运行相同的时间，则会收集更多的随机数据。我由此假设，在给定的时间段内，系统会产生大量熵，但 Linux 仅在您实际从 /dev/random 读取时才使用它，如果不是，则丢弃它。如果是这种情况，我的问题是：

是否可以将 Linux 配置为缓冲 /dev/random 以便从中读取产生更大的高质量随机数据突发？

在我的程序中缓冲 /dev/random 对我来说并不难，但我觉得在系统级别这样做会更优雅。我还想知道让 Linux 在内存中缓冲其随机数据是否会产生安全隐患。

我已经编码了几年，但我仍然没有掌握伪编码的窍门，也没有真正用代码思考问题。由于这个问题，我很难弄清楚在创建学习决策树时要做什么。

这是我看过的一些网站，相信我还有更多

决策树教程

DMS 教程

连同几本书，例如 Ian Millington 的 AI for Games，其中包括对决策树中使用的不同学习算法的详细介绍，以及游戏编程的行为数学，基本上都是关于决策树和理论的。我了解决策树的概念以及熵、ID3 以及如何将遗传算法交织在一起并让决策树决定 GA 的节点。他们提供了很好的洞察力，但不是我真正想要的。

我确实有一些为决策树创建节点的基本代码，我相信我知道如何实现实际逻辑，但如果我对程序没有目的或没有熵或涉及学习算法，那它就没有用了。

我要问的是，有人可以帮我弄清楚我需要做什么来创建这个学习决策树。我的节点在它们自己的类中流过函数来创建树，但是我如何将熵放入其中，如果它有一个类，一个结构，我不知道如何将它放在一起。伪代码和我对所有这些理论和数字的去向的想法。只要我知道我需要编写什么代码，我就可以将代码放在一起。任何指导将不胜感激。

基本上，我该怎么做。

添加学习算法，例如 ID3 和熵。应该如何设置？

一旦我弄清楚了如何处理这一切，我计划将其实现到一个状态机中，该状态机以游戏/模拟格式经历不同的状态。所有这些都已经设置好了，我只是认为这可以是独立的，一旦我弄清楚了，我就可以将它移到另一个项目中。

这是我现在拥有的源代码。

提前致谢！

主要.cpp：

决策树.h：

决策.cpp：

树节点.h：

树节点.cpp：

我主要对SecRandomCopyBytesiOS 上的实现感兴趣，如果它与 OS X 实现不同的话。（我认为确实如此，因为移动设备比台式计算机拥有越来越多的可用熵源。）

有没有人有以下信息：

1. SecRandomCopyBytes 从哪里获取熵？
2. 它可以产生良好的随机数的速率是多少？
3. 如果没有足够的熵可用，它会阻塞还是立即失败？
4. 它是否符合 FIPS 140-2 标准，或者是否已包含在任何其他官方认证中？

文档没有涵盖这些要点。

我只能找到传闻说它使用来自收音机、指南针、加速度计和其他来源的信息，但没有来自实际代表 Apple 的人的引用。

有人知道python中的熵最小化实现吗？我想用它来纠正组织学图像中的不均匀性。

关于我正在谈论的算法的参考。

当测试脚本正在运行时，我的熵值约为 130-180，通常为 150-180。该值是否对不使用任何 random() 功能的静态 HTML 页面有任何影响？还是所有页面都依赖熵？另外，什么被认为是正常值？我看过文章说如果没有使用它，值应该在 4094 左右。

我已经阅读了香农的熵理论以及如何为二进制文件实现这样的算法（很容易）

但我无法弄清楚计算 .exe 或任何二进制文件的熵的目的是什么

我可以理解计算电信消息的熵（最坏的情况：每个符号都有相同的概率），但我无法理解二进制文件的目的。

有人可以解释一下吗？

Entropy使用该SameTest选项时， Mathematica 的函数是依赖于顺序的。

那是：

会多次给出不同的结果。

我认为这是因为Entropy[]实际上是Union对列表进行 -izing，但与 不同Union的是，它实际上是用另一个SameTest值替换了一个值，并且这种替换是顺序敏感的。

这是一个错误还是预期的行为？