python - 熊猫：在每组中平均填充缺失值

Question

这应该很简单，但我发现最接近的是这篇文章： pandas: Filling missing values within a group，我仍然无法解决我的问题....

假设我有以下数据框

df = pd.DataFrame({'value': [1, np.nan, np.nan, 2, 3, 1, 3, np.nan, 3], 'name': ['A','A', 'B','B','B','B', 'C','C','C']})

  name  value
0    A      1
1    A    NaN
2    B    NaN
3    B      2
4    B      3
5    B      1
6    C      3
7    C    NaN
8    C      3

我想在每个“名称”组中用平均值填写“NaN”，即

      name  value
0    A      1
1    A      1
2    B      2
3    B      2
4    B      3
5    B      1
6    C      3
7    C      3
8    C      3

我不知道该去哪里：

grouped = df.groupby('name').mean()

谢谢一堆。

score 117 · Accepted Answer

一种方法是使用transform：

>>> df
  name  value
0    A      1
1    A    NaN
2    B    NaN
3    B      2
4    B      3
5    B      1
6    C      3
7    C    NaN
8    C      3
>>> df["value"] = df.groupby("name").transform(lambda x: x.fillna(x.mean()))
>>> df
  name  value
0    A      1
1    A      1
2    B      2
3    B      2
4    B      3
5    B      1
6    C      3
7    C      3
8    C      3

score 84 · Accepted Answer

`fillna`+ `groupby`+ `transform`+`mean`

这看起来很直观：

df['value'] = df['value'].fillna(df.groupby('name')['value'].transform('mean'))

groupby+语法将transform分组均值映射到原始数据帧的索引。这大致相当于@DSM 的解决方案，但避免了定义匿名lambda函数的需要。

score 26 · Accepted Answer

@DSM 有 IMO 正确答案，但我想分享我对问题的概括和优化：Multiple columns to group-by and have multiple value columns：

df = pd.DataFrame(
    {
        'category': ['X', 'X', 'X', 'X', 'X', 'X', 'Y', 'Y', 'Y'],
        'name': ['A','A', 'B','B','B','B', 'C','C','C'],
        'other_value': [10, np.nan, np.nan, 20, 30, 10, 30, np.nan, 30],
        'value': [1, np.nan, np.nan, 2, 3, 1, 3, np.nan, 3],
    }
)

...给...

  category name  other_value value
0        X    A         10.0   1.0
1        X    A          NaN   NaN
2        X    B          NaN   NaN
3        X    B         20.0   2.0
4        X    B         30.0   3.0
5        X    B         10.0   1.0
6        Y    C         30.0   3.0
7        Y    C          NaN   NaN
8        Y    C         30.0   3.0

在这种广义的情况下，我们希望按category和进行分组name，并且仅在上进行估算value。

这可以解决如下：

df['value'] = df.groupby(['category', 'name'])['value']\
    .transform(lambda x: x.fillna(x.mean()))

注意 group-by 子句中的列列表，我们选择了valuegroup-by 之后的列。这使得转换仅在该特定列上运行。您可以将它添加到末尾，但随后您将对所有列运行它，只在最后丢弃除一个度量列之外的所有列。一个标准的 SQL 查询计划器可能已经能够对此进行优化，但 pandas (0.19.2) 似乎没有这样做。

通过增加数据集进行性能测试...

big_df = None
for _ in range(10000):
    if big_df is None:
        big_df = df.copy()
    else:
        big_df = pd.concat([big_df, df])
df = big_df

...确认这会增加与您不必估算的列数成正比的速度：

import pandas as pd
from datetime import datetime

def generate_data():
    ...

t = datetime.now()
df = generate_data()
df['value'] = df.groupby(['category', 'name'])['value']\
    .transform(lambda x: x.fillna(x.mean()))
print(datetime.now()-t)

# 0:00:00.016012

t = datetime.now()
df = generate_data()
df["value"] = df.groupby(['category', 'name'])\
    .transform(lambda x: x.fillna(x.mean()))['value']
print(datetime.now()-t)

# 0:00:00.030022

最后一点，如果您想估算多个列，但不是全部，您可以进一步概括：

df[['value', 'other_value']] = df.groupby(['category', 'name'])['value', 'other_value']\
    .transform(lambda x: x.fillna(x.mean()))

score 15 · Accepted Answer

捷径：

Groupby + Apply + Lambda + Fillna + Mean

>>> df['value1']=df.groupby('name')['value'].apply(lambda x:x.fillna(x.mean()))
>>> df.isnull().sum().sum()
    0

如果您想按多列分组以替换缺失值，此解决方案仍然有效。

>>> df = pd.DataFrame({'value': [1, np.nan, np.nan, 2, 3, np.nan,np.nan, 4, 3], 
    'name': ['A','A', 'B','B','B','B', 'C','C','C'],'class':list('ppqqrrsss')})  

    
>>> df['value']=df.groupby(['name','class'])['value'].apply(lambda x:x.fillna(x.mean()))
       
>>> df
        value name   class
    0    1.0    A     p
    1    1.0    A     p
    2    2.0    B     q
    3    2.0    B     q
    4    3.0    B     r
    5    3.0    B     r
    6    3.5    C     s
    7    4.0    C     s
    8    3.0    C     s

score 13 · Accepted Answer

13

我会这样做

df.loc[df.value.isnull(), 'value'] = df.groupby('group').value.transform('mean')

于 2016-11-18T17:18:20.990 回答

score 6 · Accepted Answer

精选的高排名答案仅适用于只有两列的熊猫数据框。如果您有更多列案例，请改用：

df['Crude_Birth_rate'] = df.groupby("continent").Crude_Birth_rate.transform(
    lambda x: x.fillna(x.mean()))

score 2 · Accepted Answer

总结以上关于可能解决方案的效率的所有内容，我有一个包含 97 906 行和 48 列的数据集。我想用每组的中位数填写 4 列。我要分组的列有 26 200 个组。

第一个解决方案

start = time.time()
x = df_merged[continuous_variables].fillna(df_merged.groupby('domain_userid')[continuous_variables].transform('median'))
print(time.time() - start)
0.10429811477661133 seconds

第二种解决方案

start = time.time()
for col in continuous_variables:
    df_merged.loc[df_merged[col].isnull(), col] = df_merged.groupby('domain_userid')[col].transform('median')
print(time.time() - start)
0.5098445415496826 seconds

下一个解决方案我只在一个子集上执行，因为它运行时间太长。

start = time.time()
for col in continuous_variables:
    x = df_merged.head(10000).groupby('domain_userid')[col].transform(lambda x: x.fillna(x.median()))
print(time.time() - start)
11.685635566711426 seconds

以下解决方案遵循与上述相同的逻辑。

start = time.time()
x = df_merged.head(10000).groupby('domain_userid')[continuous_variables].transform(lambda x: x.fillna(x.median()))
print(time.time() - start)
42.630549907684326 seconds

因此，选择正确的方法非常重要。请记住，我注意到一旦列不是数字，时间就会呈指数增长（因为我正在计算中位数，所以这是有道理的）。

score 2 · Accepted Answer

def groupMeanValue(group):
    group['value'] = group['value'].fillna(group['value'].mean())
    return group

dft = df.groupby("name").transform(groupMeanValue)

score 1 · Accepted Answer

1

df.fillna(df.groupby(['name'], as_index=False).mean(), inplace=True)

于 2018-10-04T18:11:35.740 回答

score -1 · Accepted Answer

-1

您也可以使用"dataframe or table_name".apply(lambda x: x.fillna(x.mean())).

于 2019-09-28T19:10:51.480 回答

python - 熊猫：在每组中平均填充缺失值

10 回答 10

fillna+ groupby+ transform+mean

Related

Reference

`fillna`+ `groupby`+ `transform`+`mean`