scala - Scala、Spark-shell、Groupby 失败

Question

我有 Spark 2.4.0 版和 scala 2.11.12 版。我可以使用以下代码成功加载数据框。

val df = spark.read.format("csv").option("header","true").option("delimiter","|").option("mode","DROPMALFORMED").option("maxColumns",60000).load("MAR18.csv")

但是，当我尝试执行 groupby 以下操作时，出现错误。

df.groupby("S0102_gender").agg(sum("Respondent.Serial")).show()

错误信息是：

错误：值 groupby 不是 org.apache.spark.sql.DataFrame 的成员

我错过了什么。一个完整的 Scala 和 Spark Newb。

Answer 1

你有一个错字

改变

    groupby

至

    groupBy

Answer 2

而不是 groupby 它应该是 groupBy 如下所示......显然是拼写错误。

df.groupBy("S0102_gender").agg(sum("Respondent.Serial")).show()