0

我有一个包含错误记录的动态数据框。请在下面找到代码。

val rawDataFrame = glueContext.getCatalogSource(database = rawDBName, tableName = rawTBLName).getDynamicFrame();
    println(s"RAW_DF-----count: ${rawDataFrame.count} errors: ${rawDataFrame.errorsCount}")

上面的打印语句打印如下。

RAW_DF-----count: 168456 errors: 4

我需要创建一个仅包含 168456 条记录的动态数据框，并且我需要消除 4 条错误记录。请帮助。

4

1 回答 1

1

错误记录未转换为 Spark 的 DataFrame，因此请尝试将 DynamicFrame 转换为 df 并返回：

val noErrorsDyf = DynamicFrame(rawDataFrame.toDF(), glueContext)
于 2018-11-20T01:49:42.297 回答