4

我正在使用gaussian_kdeSciPy 中的函数来生成核密度估计：

from scipy.stats.kde import gaussian_kde
from scipy.stats import norm
from numpy import linspace,hstack
from pylab import plot,show,hist

# creating data with two peaks
sampD1 = norm.rvs(loc=-1.0,scale=1,size=300)
sampD2 = norm.rvs(loc=2.0,scale=0.5,size=300)
samp = hstack([sampD1,sampD2])

# obtaining the pdf (my_pdf is a function!)
my_pdf = gaussian_kde(samp)

# plotting the result
x = linspace(-5,5,100)
plot(x,my_pdf(x),'r') # distribution function
hist(samp,normed=1,alpha=.3) # histogram
show()

上面的代码可以工作，但如果样本数量很大，速度可能会非常慢。

我没有将样本存储在数组中，而是有一个包含键/值对的字典value: counts。例如，数组[1, 1, 1, 2, 2, 3]将在此直方图字典中编码为：

{1:3, 2:2, 3:1}.

我的问题是，如何使用字典数据结构生成内核密度估计？作为示例输入，考虑这个字典，其中 6 的值被看到了 2081 次：

samp = {1: 1000, 2: 2800, 3: 6900, 4: 4322:, 5: 2300, 6: 2081}

在此先感谢您的帮助。

4

2 回答 2

3

您可以自己做高斯 KDE：您只需要首先创建具有足够小步长的简单直方图。然后使用 fftconvolve (scipy.signal.fftconvolve) 将结果与高斯卷积

import numpy as np, numpy.random,scipy,scipy.stats,scipy.signal,matplotlib.pyplot as plt
N = 1e5
minx = -10
maxx = 10
bins = 10000
w = 0.1 # kernel sigma

xs1 = np.random.normal(0, 1, size=N)
xs2 = np.random.normal(1.9, 0.01, size=N)
xs = np.r_[xs1, xs2]
hh,loc = scipy.histogram(xs, range=(minx, maxx), bins=bins)
kernel = scipy.stats.norm.pdf((loc[1:]+loc[:-1]) * .5, 0, w)
kde = scipy.signal.fftconvolve(hh, kernel, 'same')
plt.plot((loc[1:] + loc[:-1])*.5, kde)
于 2013-08-23T15:52:21.187 回答
1

对于第一个问题：

如果您的数据是单变量的，那么您可以使用更快的内核密度估计的 fft 版本。例如在 statsmodels http://statsmodels.sourceforge.net/devel/generated/statsmodels.nonparametric.kde.KDEUnivariate.html

对于第二个问题：

如果您已经有直方图作为数据，那么您可以使用直方图平滑。但我不知道 python 中有什么函数可以开箱即用。statsmodels 中的 fft 版本首先对数据进行分箱。第二步类似于直方图的卷积。可能对直方图数据使用类似的东西。

于 2013-08-23T12:44:31.553 回答