dataframe - 如何将连续的“Ident”列添加到 Pyspark 中的数据框中，而不是 monotonically_increasing_id()？

Question

我有一个数据框'df'，我想添加一个值是连续的'Ident'数字列。我尝试使用 monotonically_increasing_id() 但值不连续。正如其描述所说：“生成的 ID 保证单调递增且唯一，但不连续。”

所以，我的问题是，我该怎么做？

Answer 1

你可以试试这样的

df = df.rdd.zipWithIndex().map(lambda x: [x[1]] + [y for y in x[0]]).toDF(['Ident']+df.columns)

这将为您提供第一列作为您的标识符，它将具有从 0 到 N-1 的连续值，其中 N 是 df 中的记录总数。