json - 如何使用 scala spark 将 JSON 数组拆分为多个 JSON

Question

我有一个数组 JSON 格式如下

{
  "marks": [
    {
      "subject": "Maths",
      "mark": "80"
    },
    {
      "subject": "Physics",
      "mark": "70"
    },
    {
      "subject": "Chemistry",
      "mark": "60"
    }
  ]
}

我需要将每个数组对象拆分为单独的 JSON 文件。有没有办法在火花壳中做到这一点。

Answer 1

您可以分解结构的标记数组、添加 ID 列以及写入由唯一 ID 列分区的 JSON 文件。

df.selectExpr("inline(marks)")
  .withColumn("id", monotonically_increasing_id)
  .repartition(col("id"))
  .write
  .partitionBy("id")
  .json("output")