hadoop - 使用 Flume 的大数据实时数据流

Question

我正在尝试使用 Flume 分析 twitter 数据我使用 BigInsights 中的 Flume 从 twitter 获取文件，但我收到的数据是压缩的 Avro 架构，不可读任何人都可以告诉我一种可以将该文件转换为 JSON 的方法（可读）以便对其进行一些分析。

或者有什么办法可以让我收到的数据已经是 JSON（可读）格式。
提前致谢。

这是我收到的数据

Answer 1

Avro 格式不是为人类可读而设计的，它旨在供程序使用。但是您有几个选项可以查看这些数据，甚至可以更好地分析数据。

创建 Hive 表：此选项将允许您使用 SQL 查询、Spark SQL、Spark 笔记本、Tableau 和 Excel 等可视化工具分析数据。您的表创建脚本将如下所示：

CREATE TABLE twitter_data
ROW FORMAT
SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
STORED AS
INPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'
TBLPROPERTIES ('avro.schema.literal'='{...

在模式文字中，您也可以定义自己的模式。

编写程序：如果您是开发人员并且想要/喜欢使用编程来处理数据，那么您可以选择多种语言来从 Avro 文件读取、解析、转换和写入 JSON。