hadoop - 使用 camus 属性将纪元时间戳转换为日期时间格式

Question

我的 kafka 消息有多个字段，其中包含长格式的纪元时间戳。我的消息如下所示：

{
    "someDate1":1512725505000,
    "someDate2":1518060461000,
    "ABC":"XYZ",
    "PQR":"MNO"
}

当使用 camus 属性文件中的某些属性加载到 hdfs 时，有没有办法将所有这些纪元时间戳转换为日期时间格式。

Answer 1

Camus 已贬值 - 你最好使用Kafka Connect的HDFS 连接器。它是开源的，可以独立使用，也可以作为Confluent Platform的一部分使用。

作为 Kafka Connect 的一部分，您有Single Message Transforms，您可以使用它来将您的 epoch 转换为更易读的形式 - 请参阅org.apache.kafka.connect.transforms.TimestampConverter

在此博客文章中查看更多单个消息转换的示例。