apache-spark - 如何将 Great Expectations DataFrame 转换为 Apache Spark DataFrame

Question

以下代码将 Apache Spark DataFrame 转换为 Great_Expectations DataFrame。如果我想将 Spark DataFrame 转换为spkDFGreat_Expectations DataFrame，我会执行以下操作：

ge_df = SparkDFDataset(spkDF)

有人可以让我知道如何将 Great_Expectation 数据帧转换为 Spark 数据帧。

那么我需要做什么才能将新的 Great_Expectations 数据帧转换ge_df回 Spark 数据帧？

score 3 · Accepted Answer

根据官方文档，该类SparkDFDataset包含原始的 pyspark 数据框：

此类包含一个属性spark_df，即 spark.sql.DataFrame。

所以你应该可以通过以下方式访问它：

ge_df.spark_df

1 回答 1