python - 如何让 pandas get_dummies 发出 N-1 个变量以避免共线性？

Question

pandas.get_dummies每个分类值发出一个虚拟变量。是否有一些自动化的、简单的方法要求它只创建 N-1 个虚拟变量？（随便去掉一个“基线”变量）？

需要避免我们数据集中的共线性。

Answer 1

Pandas 0.18.0 版实现了您正在寻找的东西：drop_first选项。这是一个例子：

In [1]: import pandas as pd

In [2]: pd.__version__
Out[2]: u'0.18.1'

In [3]: s = pd.Series(list('abcbacb'))

In [4]: pd.get_dummies(s, drop_first=True)
Out[4]: 
     b    c
0  0.0  0.0
1  1.0  0.0
2  0.0  1.0
3  1.0  0.0
4  0.0  0.0
5  0.0  1.0
6  1.0  0.0

Answer 2

有很多方法可以做到这一点。

None可能最简单的方法是在调用之前替换其中一个值get_dummies。假设你有：

import pandas as pd
import numpy as np
s = pd.Series(list('babca'))
>> s
0    b
1    a
2    b
3    c
4    a

然后使用：

>> pd.get_dummies(np.where(s == s.unique()[0], None, s))
    a   c
0   0   0
1   1   0
2   0   0
3   0   1
4   1   0

下降b。

（当然，您需要考虑您的类别列是否尚未包含None.）

---

另一种方法是使用prefix参数来get_dummies：

pandas.get_dummies(data, prefix=None, prefix_sep='_', dummy_na=False, columns=None, sparse=False)

前缀：字符串、字符串列表或字符串字典，默认为 None - 用于附加 DataFrame 列名的字符串 在 DataFrame 上调用 get_dummies 时传递长度等于列数的列表。或者，前缀可以是将列名映射到前缀的字典。

这将为所有生成的列附加一些前缀，然后您可以删除具有此前缀的列之一（只需使其唯一）。