python - pyspark 中的 to_json 排除空值，但我需要空值作为空白

Question

我正在使用 pyspark 中的 to_json 将数据框中的结构列转换为 json 列，但是在 json 中忽略了少数结构字段中的空值，我不希望忽略空值。

Answer 1

在阅读官方文档时to_json，它说：

options – 控制转换的选项。接受与 JSON 数据源相同的选项。

在 的文档中writter json，有一个选项ignoreNullFields默认设置为true. 所以我认为你可以尝试：

pyspark.sql.functions.to_json(col, options={"ignoreNullFields":False})

测试站在你这边，因为你没有提供任何Minimal, Reproducible Example。