1

我有一个关于填充空值的问题，是否可以像熊猫一样从其他列回填数据？

关于如何回填数据的工作熊猫示例：

df.loc[:, ['A', 'B', 'C']] = df[['A', 'B', 'C']].fillna(
    value={'A': df['D'],
           'B': df['D'],
           'C': df['D'],
           })

Polars 示例，当我尝试将 D 列中的数据回填到 A 列时，如果值为空，但它不起作用：

df = pl.DataFrame(
        {"date": ["2020-01-01 00:00:00", "2020-01-07 00:00:00", "2020-01-14 00:00:00"],
        "A": [3, 4, 7],
        "B": [3, 4, 5],
        "C": [0, 1, 2],
        "D": [1, 2, 5]})
df = df.with_column(pl.col("date").str.strptime(pl.Datetime, "%Y-%m-%d %H:%M:%S"))
date_range = df.select(pl.arange(df["date"][0], df["date"]
                        [-1] + 1, step=1000*60*60*24).cast(pl.Datetime).alias("date"))
df = (date_range.join(df, on="date", how="left"))
df['D'] = df['D'].fill_null("forward")
print(df)
df[:, ['A']] = df[['A']].fill_null({
    'A': df['D']
    }
)
print(df)

亲切的问候，汤姆

4

2 回答 2

1

在您展示的示例和随附的熊猫代码中。Afillna不填充任何空值，因为其他列也是NaN. 因此，我将假设您想用另一列没有缺失值的值填充缺失值，但如果我错了，请纠正我。

import polars as pl
from polars import col

df = pl.DataFrame({
    "a": [0, 1, 2, 3, None, 5, 6, None, 8, None],
    "b": range(10),
})

out = df.with_columns([
    pl.when(col("a").is_null()).then(col("b")).otherwise(col("a")).alias("a"),
    pl.when(col("a").is_null()).then(col("b").shift(1)).otherwise(col("a")).alias("a_filled_lag"),
    pl.when(col("a").is_null()).then(col("b").mean()).otherwise(col("a")).alias("a_filled_mean")

])

print(out)

在上面的示例中，我们使用when -> then -> othwerwise表达式将缺失值填充为另一列值。考虑一下if else expressions，然后再考虑整列。

我给出了 3 个示例，一个是我们填充该值的示例，一个是我们填充滞后值的示例，一个是我们填充另一列的平均值的示例。

上面的代码片段产生：

shape: (10, 4)
┌─────┬─────┬──────────────┬───────────────┐
│ a   ┆ b   ┆ a_filled_lag ┆ a_filled_mean │
│ --- ┆ --- ┆ ---          ┆ ---           │
│ i64 ┆ i64 ┆ i64          ┆ f64           │
╞═════╪═════╪══════════════╪═══════════════╡
│ 0   ┆ 0   ┆ 0            ┆ 0.0           │
├╌╌╌╌╌┼╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 1   ┆ 1   ┆ 1            ┆ 1             │
├╌╌╌╌╌┼╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 2   ┆ 2   ┆ 2            ┆ 2             │
├╌╌╌╌╌┼╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 3   ┆ 3   ┆ 3            ┆ 3             │
├╌╌╌╌╌┼╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ ... ┆ ... ┆ ...          ┆ ...           │
├╌╌╌╌╌┼╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 5   ┆ 5   ┆ 5            ┆ 5             │
├╌╌╌╌╌┼╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 6   ┆ 6   ┆ 6            ┆ 6             │
├╌╌╌╌╌┼╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 7   ┆ 7   ┆ 6            ┆ 4.5           │
├╌╌╌╌╌┼╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 8   ┆ 8   ┆ 8            ┆ 8             │
├╌╌╌╌╌┼╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ 9   ┆ 9   ┆ 8            ┆ 4.5           │
└─────┴─────┴──────────────┴───────────────┘
于 2021-10-24T16:11:20.500 回答
0

fillna() 方法用于填充 pandas 中的空值。

df['D'] = df['D'].fillna(df['A'].mean())

上面的代码将用D列的平均值替换列的空值A。

于 2021-10-24T12:16:53.367 回答