fiware - 在 Cygnus 中使用 Parquet 格式

Question

我想以 Parquet 格式存储事件数据（例如，在 HDFS 上）。是否需要修改相应sink的代码，或者有办法解决吗？例如，使用 Flume 拦截器。谢谢。

Answer 1

一方面，Cygnus 存在一个关于修改代码的问题，考虑到在写入 HDFS 时支持多种输出格式的目标。修改已完成，但仅对我们的自定义 Json 和 CSV 格式的支持进行了编码。这意味着代码已准备好进行修改以添加第三种格式。我添加了一个关于特定 Parquet 支持的新问题OrionHDFSSink；如果您最终决定进行修改，我可以将问题分配给您 :)

另一方面，您始终可以使用本机 HDFS 接收器（保留所有通知主体），并有效地编写自定义拦截器。

如您所见，在这两种情况下，您都必须编写 Parquet 部分的代码（或者等到我们有实现它的空间）。