python - 使用 Azure Databricks 将 JSON 转换为 CSV

Question

我是 Azure Databricks 的新手，因此即使在阅读文档之后，我也很难使用 Azure Databricks 导入 JSON 数据并将其转换为 CSV。

将 JSON 转换为 CSV 后，我需要将它与另一个具有相互列的 CSV 数据结合起来。

任何帮助将非常感激。谢谢

Answer 1

您想加入互助专栏吗？如果是这样，您可以执行以下操作：

dfjson = spark.read.json(/path/to/json)
dfcsv = spark.read.csv(/path/to/csv)
dfCombined = dfjson.join(dfcsv, dfjson.mutualCol == dfcsv.mutualCol, joinType)

dfCombined.save.format(someFormat).write(/path/to/output)