1

有没有人使用 Kafka 连接以下一种或多种云流服务?

  • AWS 运动
  • AWS MSK
  • Azure 事件中心

FWIW 我们希望将数据从 Kafka 发送到 ElasticSearch,而无需使用其他组件,例如 Logstash 或 FileBeat。

起初我以为我们只能使用 Confluent 平台来做到这一点,但后来得知 Kafka Connect 只是一个开源 Apache 项目。如果我们想要/需要使用专有连接器之一,则对 Confluent 的唯一需求是,但鉴于 ElasticSearch Sink 连接器是我们唯一需要的连接器(至少目前如此),这是一个社区连接器 - 请参见此处(和此处获取许可信息),我们或许可以使用其中一种 AWS/Azure 流媒体服务来实现这一点,假设这得到支持(注意:AWS 或 Azure 代表阻力较小的路径,因为我工作的公司已经与 AWS 建立了供应商关系和微软。并不是说我们不会在某个阶段使用 Confluent 或迁移到它,但现在 Azure/AWS 将更容易越界)。

我发现了一个Microsoft 文档,暗示我们可以将 Azure Event Hubs 与 Kafka Connect 一起使用,尽管 AEH 与开源 Kafka 有点不同……不确定 AWS Kinesis 或 MSK - 我认为 MSK 会很好,但不确定。 ..任何指导/博客/文章将不胜感激..

干杯,

4

0 回答 0