2

我在下面有这段代码，假设在给列上创建 2 个数据框。df 的 Region 列有 5 个变量；W、E、N、S 和 C。但是，结果数据框只有 W、E、N、S 和一个截距列。

import statsmodels.api as sm
from patsy import dmatrices
df = sm.datasets.get_rdataset('Guerry','HistData').data
vars = ['Department','Lottery','Literacy','Wealth','Region']
df = df[vars]
df = df.dropna()
#      Department  Lottery  Literacy  Wealth Region
# 0           Ain       41        37      73      E
# 1         Aisne       38        51      22      N
# 2        Allier       66        13      61      C
# 3  Basses-Alpes       80        46      76      E
# 4  Hautes-Alpes       79        69      83      E

y, X = dmatrices('Lottery ~ Literacy + Wealth + Region', data=df, return_type='dataframe')
print(X.columns.tolist())
# ['Intercept', 'Region[T.E]', 'Region[T.N]', 'Region[T.S]', 'Region[T.W]', 'Literacy', 'Wealth']

当我更改为如下所示的最后一行时，它可以正常工作并在数据框上显示 5 个区域值。

y, X = dmatrices('Literacy + Wealth + Region ~ Lottery', data=df, return_type='dataframe')
print(y.columns.tolist())
# ['Region[C]', 'Region[E]', 'Region[N]', 'Region[S]', 'Region[W]', 'Literacy', 'Wealth']

有人可以解释一下这是什么原因吗？在第一个代码而不是区域 C 上创建的拦截列是什么？

4

1 回答 1

3

Patsy会自动在公式的右侧添加一个常量“截距”项。这导致一个设计矩阵的截距列全为 1。 例如

import pandas as pd
import patsy

data = patsy.demo_data("a", "b", "y")
#     a   b         y
# 0  a1  b1  1.764052
# 1  a1  b2  0.400157
# 2  a2  b1  0.978738
# 3  a2  b2  2.240893
# 4  a1  b1  1.867558
# 5  a1  b2 -0.977278
# 6  a2  b1  0.950088
# 7  a2  b2 -0.151357

mat = patsy.dmatrices("y ~ a + b ", data, return_type='dataframe')[1]
print(mat)

产量

   Intercept  a[T.a2]  b[T.b2]
0        1.0      0.0      0.0
1        1.0      0.0      1.0
2        1.0      1.0      0.0
3        1.0      1.0      1.0
4        1.0      0.0      0.0
5        1.0      0.0      1.0
6        1.0      1.0      0.0
7        1.0      1.0      1.0

Patsy 分析公式两边的表达式，并且仅在需要新项时才添加新项，以便为模型增加所需的灵活性。就设计矩阵而言，这意味着不添加新列，除非通过添加新列来扩展列所跨越的向量空间。换句话说，已经在其他列的跨度中的新列将是多余的，因此不会添加。

当您有一个必须等​​于 W、E、N、S 或 C 的分类变量时，知道该变量的值不是 W、E、N 或 S 就等于知道该变量等于 C。

查看上一个示例的输出。知道a变量不a2等于知道它等于a1。就设计矩阵而言，包含一列不会增加列空间a1，因为 Intercept - a2是a1. （下面，该a1列标记为a[T.a1]，对于 也是类似的a2）：

   Intercept  a[T.a2]  b[T.b2]  a[T.a1]
0        1.0      0.0      0.0      1.0
1        1.0      0.0      1.0      1.0
2        1.0      1.0      0.0      0.0
3        1.0      1.0      1.0      0.0
4        1.0      0.0      0.0      1.0
5        1.0      0.0      1.0      1.0
6        1.0      1.0      0.0      0.0
7        1.0      1.0      1.0      0.0

同样，在您的情况下，没有为分类值 C 添加任何列，因为 Intercept - (W + E + N + S) 等于 C。

现在我们可以回到你原来的代码，更清楚地理解结果：

import statsmodels.api as sm
from patsy import dmatrices

df = sm.datasets.get_rdataset('Guerry','HistData').data
vars_ = ['Department','Lottery','Literacy','Wealth','Region']
df = df[vars_]
df = df.dropna()

formula1 = 'Lottery ~ Literacy + Wealth + Region'
print(formula1)
y1, X1 = dmatrices(formula1, data=df, return_type='dataframe')
print('LHS: {}'.format(y1.columns.tolist()))
# ['Lottery'], 
print('RHS: {}'.format(X1.columns.tolist()))
# ['Intercept', 'Region[T.E]', 'Region[T.N]', 'Region[T.S]', 'Region[T.W]', 'Literacy', 'Wealth']

formula2 = 'Literacy + Wealth + Region ~ Lottery'
print(formula2)

y2, X2 = dmatrices(formula2, data=df, return_type='dataframe')
print('LHS: {}'.format(y2.columns.tolist()))
# ['Region[C]', 'Region[E]', 'Region[N]', 'Region[S]', 'Region[W]', 'Literacy', 'Wealth']
print('RHS: {}'.format(X2.columns.tolist()))
# ['Intercept', 'Lottery']

请注意，anIntercept已自动添加到每个公式的右侧 。当公式的同一侧同时存在截距项和分类变量时，分类变量的一个值总是缺失，因为它的存在不会扩大设计矩阵的列空间。

您可以通过+ 0在公式右侧包含或包含- 1. 他们都做同样的事情。

formula3 = 'Lottery ~ Literacy + Wealth + Region + 0'
print(formula3)
y1, X1 = dmatrices(formula3, data=df, return_type='dataframe')
print('LHS: {}'.format(y1.columns.tolist()))
print('RHS: {}'.format(X1.columns.tolist()))

现在，右侧有一Region[C]列：

LHS: ['Lottery']
RHS: ['Region[C]', 'Region[E]', 'Region[N]', 'Region[S]', 'Region[W]', 'Literacy', 'Wealth']
于 2018-10-25T14:03:41.940 回答