pyspark - 'DataFrame' 对象没有属性 'to_delta'

Question

我的代码曾经工作。为什么我的代码不再工作了？我更新到较新的 Databricks 运行时 10.2，所以我不得不更改一些早期的代码以在 pyspark 上使用 pandas。

# Drop customer ID for AutoML
automlDF = churn_features_df.drop(key_id)

# Write out silver-level data to autoML Delta lake
automlDF.to_delta(mode='overwrite', path=automl_silver_tbl_path)

我得到的错误是'DataFrame' object has no attribute 'to_delta'

Answer 1

我能够使用to_pandas_on_spark(). 我的工作代码如下所示：

# Drop customer ID for AutoML
automlDF = churn_features_df.drop(key_id).to_pandas_on_spark()

# Write out silver-level data to autoML Delta lake
automlDF.to_delta(mode='overwrite', path=automl_silver_tbl_path)