hadoop - HDFS 中的 Avro 模式生成

Question

我有一个场景，我在 HDFS 中有一些 avro 文件。我需要为 HDFS 中的那些 AVRO 数据文件生成 Avro Schema 文件。我尝试使用 Spark（https://github.com/databricks/spark-avro/ blob/master/src/main/scala/com/databricks/spark/avro/SchemaConverters.scala）。

除了将 AVRO 数据文件带到本地并执行 HDFS PUT 之外，还有其他方法吗？

欢迎任何建议。谢谢！

Answer 1

每个 avro 文件都包含它所使用的 avro 模式。您可以使用 avro-tools.jar（从 maven 下载）提取此模式。您只能下载一部分（假设所有其他文件都是用相同的模式编写的）并使用 avro 工具（java -jar ~/workspace/avro-tools-1.7.7.jar getschema xxx.avro）来提取它