apache-spark - 如何使用模式将数据帧转换为 avro？

Question

如何使用用户指定的模式将数据帧转换为 Avro 格式？

Answer 1

您应该使用允许从 Spark SQL 读取和写入 Avro 数据的spark-avro模块。

import org.apache.avro.Schema
import org.apache.spark.sql.SparkSession

val schema = new Schema.Parser().parse(new File("user.avsc"))
val spark = SparkSession.builder().master("local").getOrCreate()
spark
  .read
  .format("com.databricks.spark.avro")
  .option("avroSchema", schema.toString)
  .load("src/test/resources/episodes.avro")