apache-spark - 如何从空 RDD 中读取 Avro 模式？

Question

我正在使用AvroKeyInputFormat读取 avro 文件：

val records = sc.newAPIHadoopFile[AvroKey[T], NullWritable, AvroKeyInputFormat[T]](path)
  .map(_._1.datum())

因为我需要在工作中反思架构，所以我得到了这样的 Avro 架构：

val schema = records.first.getSchema

不幸的是，如果 avro 文件path为空（它们包括 writer 模式，但没有记录），这将失败。

即使没有记录，是否有一种简单的方法可以仅使用 Spark 加载 avro 模式？

Answer 1

我找到了一个解决方案（灵感来自com.databricks.spark.avro.DefaultSource）：

/**
  * Loads a schema from avro files in `directory`. This method also works if none
  * of the avro files contain any records.
  */
def schema(directory: String)(implicit sc: SparkContext): Schema = {
  val fs = FileSystem.get(new URI(directory), sc.hadoopConfiguration)
  val it = fs.listFiles(new Path(directory), false)

  var avroFile: Option[FileStatus] = None

  while (it.hasNext && avroFile.isEmpty) {
    val fileStatus = it.next()

    if (fileStatus.isFile && fileStatus.getPath.getName.endsWith(".avro")) {
      avroFile = Some(fileStatus)
    }
  }

  avroFile.fold {
    throw new Exception(s"No avro files found in $directory")
  } { file =>
    val in = new FsInput(file.getPath, sc.hadoopConfiguration)
    try {
      val reader = DataFileReader.openReader(in, new GenericDatumReader[GenericRecord]())
      try {
        reader.getSchema
      } finally {
        reader.close()
      }
    } finally {
      in.close()
    }
  }
}