python - 泊松过程检验

Question

我想对零假设进行一些测试，即我所拥有的事件时间是从同质泊松过程创建的（参见例如http://en.wikipedia.org/wiki/Poisson_process）。因此，对于固定数量的事件，时间应该看起来像适当范围内均匀分布的排序版本。在http://docs.scipy.org/doc/scipy-0.7.x/reference/generated/scipy.stats.kstest.html有一个 Kolmogorov-Smirnov 测试的实现，但我看不到如何使用它在这里，scipy.stats 似乎并不了解泊松过程。

作为一个简单的例子，这个样本数据应该为任何此类测试提供高 p 值。

import random
nopoints = 100
max = 1000

points = sorted([random.randint(0,max) for j in xrange(nopoints)])

我怎样才能对这个问题进行明智的测试？

来自 www.stat.wmich.edu/wang/667/classnotes/pp/pp.pdf‎ 我明白了

” 备注 6.3（检验泊松） 上述定理也可用于检验给定计数过程是泊松过程的假设。这可以通过在固定时间 t 内观察该过程来完成。如果在此时间段内我们观察到 n如果过程是泊松的，那么无序的出现时间将独立且均匀地分布在 (0, t] 上。因此，我们可以通过检验 n 个出现时间来自均匀 ( 0, t] 总体。这可以通过标准统计程序来完成，例如 Kolmogorov-Smirov 检验。

Answer 1

警告：写的很快，有些细节没有验证

什么是指数，卡方检验的自由度的适当估计量

基于讲义

这三个测试中的任何一个都不会拒绝同质性的含义。说明如何使用 scipy.stats 的 kstest 和 chisquare 测试

# -*- coding: utf-8 -*-
"""Tests for homogeneity of Poissson Process

Created on Tue Sep 17 13:50:25 2013

Author: Josef Perktold
"""

import numpy as np
from scipy import stats

# create an example dataset
nobs = 100
times_ia = stats.expon.rvs(size=nobs) # inter-arrival times
times_a = np.cumsum(times_ia) # arrival times
t_total = times_a.max()

# not used
#times_as = np.sorted(times_a)
#times_ia = np.diff(times_as)

bin_limits = np.array([ 0. ,  0.5,  1. ,  1.5,  2. ,  np.inf])
nfreq_ia, bins_ia = np.histogram(times_ia, bin_limits)


# implication: arrival times are uniform for fixed interval
# using times.max() means we don't really have a fixed interval
print stats.kstest(times_a, stats.uniform(0, t_total).cdf)

# implication: inter-arrival times are exponential
lambd = nobs * 1. / t_total
scale = 1. / lambd

expected_ia = np.diff(stats.expon.cdf(bin_limits, scale=scale)) * nobs
print stats.chisquare(nfreq_ia, expected_ia, ddof=1)

# implication: given total number of events, distribution of times is uniform
# binned version
n_mean_bin = 10
n_bins_a = nobs // 10
bin_limits_a = np.linspace(0, t_total+1e-7, n_bins_a + 1)
nfreq_a, bin_limits_a = np.histogram(times_a, bin_limits_a)
# expect uniform distributed over every subinterval
expected_a = np.ones(n_bins_a) / n_bins_a * nobs
print stats.chisquare(nfreq_a, expected_a, ddof=1)

Answer 2

KS 检验在确定两个分布是否不同时，只是它们之间的最大差异：

这很简单，可以自己计算。下面的程序计算具有不同参数集的两个泊松过程的 KS 统计量：

import numpy as np

N = 10**6
X  = np.random.poisson(10, size=N)
X2 = np.random.poisson(7, size=N)

bins = np.arange(0, 30,1)
H1,_ = np.histogram(X , bins=bins, normed=True)
H2,_ = np.histogram(X2, bins=bins, normed=True)

D = np.abs(H1-H2)

idx = np.argmax(D)
KS = D[idx]

# Plot the results
import pylab as plt
plt.plot(H1, lw=2,label="$F_1$")
plt.plot(H2, lw=2,label="$F_2$")
text = r"KS statistic, $\sup_x |F_1(x) - F_2(x)| = {KS:.4f}$"
plt.plot(D, '--k', label=text.format(KS=KS),alpha=.8)
plt.scatter([bins[idx],],[D[idx],],s=200,lw=0,alpha=.8,color='k')
plt.axis('tight')
plt.legend()

Answer 3

问题是，正如您链接到的文档所暗示的那样："The KS test is only valid for continuous distributions."泊松分布是离散的。

我建议您可以使用此链接中的示例：http: //nbviewer.ipython.org/urls/raw.github.com/CamDavidsonPilon/Probabilistic-Programming-and-Bayesian-Methods-for-Hackers/master/Chapter1_Introduction /Chapter1_Introduction.ipynb （查找“##### 示例：从文本消息数据推断行为”）

在该链接中，他们会检查他们假设根据泊松过程分布的特定数据集的适当 lambda(s) 。