如何将 Kafka Connect 适配器与 Amazon MSK 结合使用？根据 AWS 文档，它支持 Kafka 连接，但没有记录如何设置和使用适配器。
问问题
8870 次
3 回答
29
2021 年 10 月编辑：MSK Connect 已启动，请参阅https://aws.amazon.com/blogs/aws/introducing-amazon-msk-connect-stream-data-to-and-from-your-apache-kafka-clusters -使用托管连接器/
AFAIK Amazon MSK 不提供托管连接器，因此您必须自己运行它们。这是通过运行 Kafka Connect 工作进程（JVM）然后为其提供一个或多个连接器配置来运行的。
从 Kafka Connect 工作人员的角度来看，它只需要一个 Kafka 集群来连接；无论是 MSK 还是内部部署都无关紧要，因为它最终“只是”下面的消费者/生产者。
您可以在此处查看更多信息，包括现场演示：https ://rmoff.dev/bbuzz19-kafka-connect
有关将 Kafka Connect 配置为使用云托管的 Kafka 平台（在本例中为 Confluent Cloud）的示例，请参阅本文。
如果您对云中的托管连接器感兴趣，请查看Confluent Cloud 中提供的连接器。
免责声明：我为 Confluent 工作:)
于 2019-12-05T12:52:47.337 回答
3
AWS 现在支持 MSK Connect，这是基于 Kafka Connect 的 MSK 服务的一项新功能，允许您部署为 Kafka Connect 构建的托管 Kafka 连接器
于 2021-10-03T23:55:35.640 回答
2
这有两个方面
Kafka Connect 是一个框架，应该与 kafka 代理分开部署。MSK 仅提供 kafka 经纪人。如果您想将 Kafka Connect 与 MSK 一起使用，您需要使用 EC2 实例并部署 kafka 二进制文件。Kafka Connect 框架与 kafka 捆绑在一起
如果您没有融合订阅或类似的订阅，请使用连接器 - 恐怕您的选择非常有限。但是话虽如此，您始终可以编写自己的连接器。编写新的连接器并不是那么困难，而是您可以应用您的业务特定逻辑并很快地开始您的工作。
于 2021-06-09T15:00:52.987 回答