问题标签 [histogram]

我有一堆 csv 数据集，每个大小约为 10Gb。我想从他们的列中生成直方图。但似乎在 numpy 中执行此操作的唯一方法是首先将整个列加载到 numpy 数组中，然后调用numpy.histogram该数组。这会消耗不必要的内存量。

numpy 是否支持在线分箱？我希望在读取它们时逐行迭代我的 csv 和 bin 值。这种方式在任何时候最多有一行在内存中。

我自己滚动并不难，但想知道是否有人已经发明了这个轮子。

如果我的 .dat 文件已经有正确的分箱数据，我知道如何在 gnuplot 中创建直方图（只需使用“带框”）。有没有办法获取数字列表并让 gnuplot 根据用户提供的范围和 bin 大小提供直方图？

我有一对带有权重的点：

如何用彩条绘制漂亮的 2d 直方图图像？我找到了很好的密度图描述，但我不会通过 python 去。我有办法只使用 gnuplot 脚本吗？

我希望从包含原始数据 (.txt) 的输入文件中在 Matplotlib 中制作直方图。我在引用输入文件时遇到问题。我想这应该是一个相当小的程序。任何 Matplotlib 大师，有什么帮助吗？

我不是要代码，一些输入应该让我走上正确的道路！

有很多方法可以编写计算直方图的 Python 程序。

通过直方图，我的意思是一个函数，它计算对象在 an 中的出现iterable并输出字典中的计数。例如：

编写此函数的一种方法是：

有没有更简洁的方法来编写这个函数？

如果我们在 Python 中有字典推导式，我们可以这样写：

但由于 Python 2.6 没有它们，我们必须写：

虽然这种方法可能是可读的，但效率不高：L 被多次遍历。此外，这不适用于单寿命发电机；该函数应该同样适用于迭代器生成器，例如：

我们可能会尝试使用reduce函数（RIP）：

糟糕，这不起作用：键名是'x'，而不是x。:(

我结束了：

（在 Python 3 中，我们必须写list(d.items())而不是d.items()，但这是假设的，因为那里没有reduce。）

请用更好，更易读的单行符击败我！;)

我有两个直方图。

Hist1 的分布是多模态的；

Hist2 的分布是具有单个突出峰的单峰类型。

我的问题是

1. 有什么方法可以以编程方式确定分发的类型？
2. 如何量化这两个直方图是否相似/不相似？

谢谢

我正在想办法使用 CUDA 实现以下算法：

处理大量体素，我为每个体素计算一个 indexi和一个 value c。计算后我需要执行histogram[i] += c
c的是一个浮点值，直方图最多可以有 15,000 个 bin。

我正在寻找一种使用 CUDA 有效实现这一点的方法。第一个明显的问题是，对于我正在使用的计算能力 1.3，我什至不能做一个atomicAdd()浮点数，所以我怎样才能可靠地积累任何东西？

nVidia 的这个例子做了一些更简单的事情。直方图保存在共享内存中（由于它的大小，我不能这样做）并且它只累积整数。这种方法可以推广到我的情况吗？

我正在为图片上的直方图编写 CUDA 内核，但我不知道如何从内核返回一个数组，并且当其他线程读取它时该数组会改变。有什么可能的解决方案吗？

@para d_dst：输入图像 TColor 等于 float4。

@para 数据：直方图大小的数组 [255]

通过 starPrint 方法，我需要使数组中填充的每个数字的频率显示在直方图中，如下所示：

等等。它需要填充的星星数量等于数字出现的频率！目前我得到了数组长度的星号数量。

我有一个可能很简单的问题，但我仍然不确定！

其实我只想平滑一个直方图，我不确定以下哪种方法是正确的。我会这样做吗：

或者你通常会这样做吗？：

我的问题是：首先将直方图复制到一个额外的向量中是否合理，这样当我在 bin 处平滑时，i我可以使用原始i-1值，或者我会简单地这样做smoothedValue += (*histogram)[bin-1+i]*mask[i];，以便我使用已经平滑i-1的值而不是原始值。

问候和感谢您的回复。