0

我正在使用 Pandas 库进行一些数据分析。我正在测试属性之间的相关性。.corr()所以我使用Pandas 库的函数计算了相关性。我还想计算这种相关性的统计显着性。我已经在这里问了一个问题。Pandas 库似乎没有这个功能。

我被建议使用scipy.stats.

from scipy.stats import pearsonr

pearsonr是计算 pearson 相关性的函数，.corr()除了它还返回显着性之外，这正是我所追求的。

pearsonr不能处理 Na/null 值。所以我用.dropna(). 这将删除更多示例。

在我的原始 csv 文件中，NA/空值有更多的词，我在打开文件时考虑了这一点：

data = pd.read_csv(player, sep=',', na_values=['Did Not Dress','Did Not Play','Inactive','Not With Team'], index_col=0)

.corr() 处理缺失缺失值本身。问题是为什么要.dropna()删除太多的例子。有些值是 0 或 0.00（百分比），但出于我的目的，不应将其排除在外。

.csv 文件中的几行：

Rk,G,Date,Age,Tm,,Opp,,GS,MP,FG,FGA,FG%,3P,3PA,3P%,FT,FTA,FT%,ORB,DRB,TRB,AST,STL,BLK,TOV,PF,PTS,GmSc,+/-
1,1,2017-10-18,32-091,SAS,,MIN,W (+8),1,38:49,9,21,.429,1,2,.500,6,7,.857,5,5,10,4,0,2,3,2,25,18.9,+15
2,2,2017-10-21,32-094,SAS,@,CHI,W (+10),1,32:46,12,24,.500,0,2,.000,4,4,1.000,5,5,10,3,1,2,1,2,28,23.7,+13
3,3,2017-10-23,32-096,SAS,,TOR,W (+4),1,36:17,7,16,.438,0,1,.000,6,7,.857,3,5,8,3,1,1,2,3,20,15.4,+10
4,4,2017-10-25,32-098,SAS,@,MIA,W (+17),1,38:09,12,20,.600,1,1,1.000,6,7,.857,1,6,7,1,2,1,2,4,31,23.7,+16
5,5,2017-10-27,32-100,SAS,@,ORL,L (-27),1,29:30,9,14,.643,1,2,.500,5,5,1.000,4,7,11,0,0,1,1,0,24,22.4,-20
6,6,2017-10-29,32-102,SAS,@,IND,L (-3),1,36:24,10,21,.476,1,2,.500,5,7,.714,3,5,8,0,0,1,1,3,26,16.6,-15
7,7,2017-10-30,32-103,SAS,@,BOS,L (-14),1,26:00,5,13,.385,0,2,.000,1,5,.200,3,2,5,2,1,1,1,1,11,6.7,-19
8,8,2017-11-02,32-106,SAS,,GSW,L (-20),1,35:54,8,22,.364,2,4,.500,6,8,.750,5,5,10,2,2,2,2,3,24,17.6,-15
4

1 回答 1

1

您可能希望提取要计算 Pearson 相关系数的两列，并使用 Numpy isnan 函数删除空值。

x = data.column_1.values
y = data.column_2.values
mask = ~numpy.isnan(x) * ~numpy.isnan(y)
x, y = x[M), y[M]
rvalue, pvalue = scipy.stats.pearsonr(x, y)

在此之前，您可以根据它们在其他列上的值排除某些行。

于 2018-07-30T15:55:31.983 回答