0

我是极地新手。我想基于多列创建一个新列。我可以看到 Expression 很强大，但是对于复杂的逻辑，用caseand来解释是相当困难的when。

所以我尝试了map可用的LazyFrame，看起来它可以达到目的。但是，我不确定是否会有绩效处罚？或者有没有其他我不知道的更简单的方法。

下面是我的代码Map

    let df = lf
        .map(
            |df: DataFrame| {
                let a = &df["a"];
                let b = &df["b"];
                let r: Series = a
                    .f32()?
                    .into_iter()
                    .zip(b.f32()?.into_iter())
                    .map(|(Some(a), Some(b))| -> i32 {
                        if a * b == 10.0 {
                            10.0
                        } else if a * b == 20.0 {
                            a.cos();
                        } else {
                            b.cos()
                        }
                    })
                    .collect();
                let df_new = DataFrame::new(vec![df["c"], df[r]])?;
                Ok(df_new)
            },
            None,
            None,
        )
        .select(&[
            a.clone().max().alias("max"),
            b.clone().min().alias("min"),
            r.clone().mean().cast(DataType::Float32).alias("mean"),
        ])
        .collect()?;

与下面的表达式相比，

    let r = when((a * b).eq(lit::<f32>(10.0)))
        .then(lit::<f32>(10.0))
        .when((a * b).eq(lit::<f32>(20.0)))
        .then(cos(a))
        .otherwise(cos(b));
4

1 回答 1

1

当您在 a 上映射自定义函数时，DataFrame您说的是相信我优化器，我知道我在做什么。我们无法再进行任何优化。

除此之外，表达式通常是并行执行的。在when -> then -> otherwise您编写的表达式中，所有分支都是并行计算的。

when((a * b).eq(lit::<f32>(10.0)))
        .then(lit::<f32>(10.0))
        .when((a * b).eq(lit::<f32>(20.0)))
        .then(cos(a))
        .otherwise(cos(b));

如果它更快取决于用例。我会说基准。

但是，您将习惯于在表达式中思考，然后表达式语法会变得更加简洁。

于 2022-01-12T14:35:47.777 回答