pyspark - “groupby.apply”和“groupby.agg”之间的区别

Question

' ' 和有什么区别groupby.apply'and'groupby.agg？,为什么处理后的数据显示为'NoneType'？</p>

1. 这个是针对Spark 2.1.0的，我想把一列变成多行，同一列可以用逗号连接，我用groupby.apply的时候没有输出，用的时候groupby.agg可以按照我的想法进行。
2. 我用.count()了程序，但它显示' NoneType'对象没有属性' count'。

data1=df.groupBy('_c0').agg(collect_list('_c1')).show()
print(data1.count())

data1=df.groupBy('_c0').apply(collect_list('_c1')).show()

我想知道程序的行数和列数。

Answer 1

data1=df.groupBy('_c0').apply(collect_list('_c1')).show()

返回 NoneType 因为show不返回任何内容。这就是为什么你不能应用计数。摆脱表演。apply返回一个 sql.DataFrame。对于您要执行的操作，请参阅此 SO Question

参考源代码。show