7

在 Python 中,假设我有连续变量xy,其值介于 0 和 1 之间(为了更容易)。我的假设一直是,如果我想将这些变量转换为带有 0,0.01,0.02,...,0.98,0.99,1 的 bin 的序数值,可以简单地将原始值四舍五入到第二位。出于某种原因,当我这样做时,它会留下工件。

让我来说明这个问题(但是请注意,我的问题不是如何获得正确的情节,而是实际上如何进行正确的分箱)。首先,这些是重现问题所需的唯一模块:

import numpy as np
import matplotlib.pyplot as plt

现在,假设我们连续生成如下数据(其他数据生成过程也会给出相同的问题):

# number of points drawn from Gaussian dists.:
n = 100000
x = np.random.normal(0, 2, n)
y = np.random.normal(4, 5, n)

# normalizing x and y to bound them between 0 and 1
# (it's way easier to illustrate the problem this way)
x = (x - min(x))/(max(x) - min(x))
y = (y - min(y))/(max(y) - min(y))

然后,让我们通过应用一些舍入将x和转换y为上述区间中的序数。然后,让我们将结果存储到xbyy矩阵中,以便绘制其热图以进行说明

# matrix that will represent the bins. Notice that the
# desired bins are every 0.01, from 0 to 1, so 100 bins:
mtx = np.zeros([100,100])
for i in range(n):
    # my idea was that I could roughly get the bins by
    # simply rounding to the 2nd decimal point:
    posX = round(x[i], 2)
    posY = round(y[i], 2)
    mtx[int(posX*100)-1, int(posY*100)-1] += 1

我希望上面的方法可以工作,但是当我绘制矩阵的内容时mtx,我实际上得到了奇怪的伪影。编码:

# notice, however, the weird close-to-empty lines at
# 0.30 and 0.59 of both x and y. This happens regardless
# of how I generate x and y. Regardless of distributions
# or of number of points (even if it obviously becomes
# impossible to see if there are too few points):
plt.matshow(mtx, cmap=plt.cm.jet)
plt.show(block=False)

给我:

在此处输入图像描述

最奇怪的是,无论我使用哪种分布生成x以及y用于 RNG 的种子,我总是在 0.30 和 0.59 处得到相同的水平和垂直近乎空的线xy,经常与线立即平行对于那些显示点集中的人(就像你在图片中看到的那样)。

当我从该矩阵逐个值打印到控制台时,我实际上可以确认与那些近乎空的线相对应的那些确实为零或非常接近于零 - 与它们的相邻点不同。

我的问题可以更恰当地分为两部分:

  1. 为什么会出现上述情况?我真的很想了解在那个简单的代码中究竟是什么导致了这样的问题。

  2. 有什么更好的方法来生成xy根据切点 0,0.01,0.02,...,0.98,0.99,1 对值进行分箱的by矩阵而不留下上面的工件?

如果您想轻松获取上面直接使用的整个示例代码,请点击以下链接: https ://www.codepile.net/pile/VLAq4kLp

注意:我不想找到正确的绘图方式。我想为自己找到生成表示的“分箱值矩阵”的正确方法是上面的情节。我知道还有其他方法可以在没有工件的情况下完成热图绘制,例如使用plt.matshow(mtx, cmap=plt.cm.jet); plt.show(block=False)or plt.hist2d(x, y, bins=100)。我要问的是我的矩阵生成本身的问题在哪里,它创建了那些接近零的元素。

4

4 回答 4

2

使用np.histogram2d(x,y, bins=100).

这个答案的其余部分是显示手动算法失败的地方:

考虑到数值

0.56*100 == 56.00000000000001    -> int(0.56*100) == 56
0.57*100 == 56.99999999999999    -> int(0.57*100) == 56
0.58*100 == 57.99999999999999    -> int(0.58*100) == 57
0.59*100 == 59.00000000000000    -> int(0.59*100) == 59

这样数字 58 就不会出现在您的索引中,而数字 56 会出现两倍的频率(为了均匀分布)。

您可以改为先相乘,然后截断为整数。另请注意,最后一个 bin 需要关闭,以便将值 1 添加到索引为 99 的 bin 中。

mtx = np.zeros([100,100])
for i in range(n):
    posX = int(x[i]*100)
    posY = int(y[i]*100)
    if posX == 100:
        posX = 99
    if posY == 100:
        posY = 99
    mtx[posX, posY] += 1

这将通过边缘定义箱,即第一个箱的范围从 0 到 1 等。在调用 imshow/matshow 时,您需要通过设置范围来考虑这一点。

plt.matshow(mtx, cmap=plt.cm.jet, extent=(0,100,0,100))

在此处输入图像描述

于 2019-02-07T17:22:07.643 回答
2

您的方法遇到的问题是浮点错误。当您尝试将四舍五入的数字转换为整数时,这一点变得很明显。考虑以下函数(本质上就是您对每个随机数所做的事情):

def int_round(a):
     r = round(a, 2)
     rh = r*100
     i = int(rh)
     print(r, rh, i)


int_round(0.27)
#prints: 0.27 27.0 27

int_round(0.28)
#prints: 0.28 28.000000000000004 28

int_round(0.29)
#prints: 0.29 28.999999999999996 28

int_round(0.30)
#prints: 0.3 30.0 30

如您所见,由于舍入 0.28 和 0.29 并乘以 100 后的浮点错误,两者都0.280.29整数28. (这是因为int()总是向下取整,所以 28.99999999999 变为 28)。

一个解决方案可能是在乘以 100 后舍入该值:

def round_int(a):
    ah = a*100
    rh = round(ah, 2)
    i = int(rh)
    print(ah, rh, i)

round_int(0.27)
#prints: 27.0 27.0 27

round_int(0.28)
#prints: 28.000000000000004 28.0 28

round_int(0.29)
#prints: 28.999999999999996 29.0 29

round_int(0.30)
#prints: 30.0 30.0 30

请注意,在这种情况下0.29更正转换为29.

将此逻辑应用于您的代码:我们可以将for循环更改为:

mtx = np.zeros([101, 101])

for i in range(n):
    # my idea was that I could roughly get the bins by
    # simply rounding to the 2nd decimal point:
    posX = np.round(100*x[i], 2)
    posY = np.round(100*y[i], 2)
    mtx[int(posX), int(posY)] += 1

请注意,当 x=1 或 y=1 时,将 bin 数量增加到 101 以说明最终 bin。此外,在这里您可以看到,当我们在舍入前乘以 100 时,分箱正确发生x[i]y[i]

在此处输入图像描述

于 2019-02-07T17:23:26.157 回答
1

截至目前,我只能正确回答您的第二个问题,因为我仍在寻找第一部分的错误。

因此,这是您为所需的 binnig 选择的标准解决方案(假设您x之前y提到过):

h = plt.hist2d(x, y, bins=100)

给予

在此处输入图像描述

这是一个 100x100 的网格。

该变量h现在包含您想要的矩阵以及 matplotlib 找到的 bin。plt.matshow(h[0])显示与图中相同的矩阵,由 matplotlib 返回。如评论中所述:您可以通过调用获得相同的结果(但没有自动绘图)

h = np.histogram2d(x, y, bins=100)

尽管如此,您的算法不可能是正确的,因为您实际上是在计算边缘上的项目数,而不是它们之间,所以每个方向都有 101 个项目。您可以看到问题,posX==0例如: Then int(posX*100)-1yield -1

于 2019-02-07T16:23:21.020 回答
1

我不知道如何准确回答你的第一个问题。但是对于分箱项目,我也使用pandas.cut。对于您的解决方案,您可以做

import pandas as pd
bins = [v / 100. for v in range(100)
bucketed = pd.cut(x, bins)

bucketed然后将指示每个数据点属于哪个区间

作为参考,这里有一个不错的教程http://benalexkeen.com/bucketing-continuous-variables-in-pandas/

于 2019-02-07T16:31:54.913 回答