apache-kafka - 有没有办法将 Amazon MSK 主题直接转储到 S3？

Question

我计划使用 Amazon MSK，我想将消费者日志转储到 S3。但我没有看到任何选择。我需要编写自己的消费者还是有办法直接将 Amazon MSK 消费者输出消费到 s3 ？

Answer 1

Kafka Connect 通常是在 Kafka 和系统下行（和上行）流（如 S3）之间获取数据的最佳（最简单/可扩展/便携/弹性）方式。在此处了解有关Kafka Connect的更多信息，并在此处的本次演讲中了解更多信息。

MSK Connect可以在 AWS 上为您的 MSK 运行 Kafka Connect 工作负载。

另一个选择是运行自己的 Kafka Connect 工作程序（连接到 MSK）并使用S3 接收器连接器（教程）。

Answer 2

MSK 没有直接的方法。您可以使用外部使用者来执行此操作，或者最好在与 MSK 相同的 VPC 内的 EC2 中使用KafkaConnect 。

无论哪种方式，您都需要考虑高可用性和数据传输成本。对于 HA，使用不同 AZ 中的消费者。对于成本，使用允许消费者从最近的副本获取数据的MSK 2.4.1 。