scala - Spark withColumn 用于修改列但不添加新列

Question

Scala 2.12 和 Spark 2.2.1 在这里。我有以下代码：

myDf.show(5)
myDf.withColumn("rank", myDf("rank") * 10)
myDf.withColumn("lastRanOn", current_date())
println("And now:")
myDf.show(5)

当我运行它时，在日志中我看到：

+---------+-----------+----+
|fizz|buzz|rizzrankrid|rank|
+---------+-----------+----+
|   2|   5| 1440370637| 128|
|   2|   5| 2114144780|1352|
|   2|   8|  199559784|3233|
|   2|   5| 1522258372| 895|
|   2|   9|  918480276| 882|
+---------+-----------+----+
And now:
+---------+-----------+-----+
|fizz|buzz|rizzrankrid| rank|
+---------+-----------+-----+
|   2|   5| 1440370637| 1280|
|   2|   5| 2114144780|13520|
|   2|   8|  199559784|32330|
|   2|   5| 1522258372| 8950|
|   2|   9|  918480276| 8820|
+---------+-----------+-----+

很有趣：

• 第一个有效，通过将自身乘以 10 来withColumn转换每一行的值rank
• 但是第二个withColumn失败了，这只是将当前日期/时间作为新lastRanOn列添加到所有行

我需要做什么才能使lastRanOn列添加工作？

Answer 1

您的示例可能太简单了，因为修改rank也不应该起作用。

withColumn不更新 DataFrame，它会创建一个新的 DataFrame。

所以你必须这样做：

// if myDf is a var
myDf.show(5)
myDf = myDf.withColumn("rank", myDf("rank") * 10)
myDf = myDf.withColumn("lastRanOn", current_date())
println("And now:")
myDf.show(5)

或者例如：

myDf.withColumn("rank", myDf("rank") * 10).withColumn("lastRanOn", current_date()).show(5)

只有这样您才会添加新列 - 在重新分配新的 DataFrame 引用之后