问题标签 [amazon-msk]

是否可以使用 AWS 的 Apache Kafka 托管流 (MSK) 设置 HTTP 端点？我们可以使用 HTTP POST 发送数据吗？我们不能使用 AWS SDK，因为客户端非常瘦（实际上是我们的 CDN），它只能执行简单的 HTTP 请求，如 cURL/wget。

我正在使用 kafka-python 为 Kafka 2.2.1 集群（来自 AWS 的 MSK 服务的托管集群实例）生成消息。我能够检索引导服务器并与它们建立网络连接，但没有消息通过。相反，在每条 Type 消息之后，A我立即收到一个 type B... 并最终收到一个 type C：

是什么导致代理节点接受来自有希望的生产者的 TCP 连接，但随后又立即关闭它？

编辑

• 该主题已存在，并kafka-topics.sh --list显示它。

• 我用过的所有客户端都有同样的问题：Kafka's kafka-console-producer.sh、kafka-python、confluent-kafka和kafkacat

• Kafka 集群与我的所有其他机器位于同一个 VPC 中，其安全组允许该 VPC 内的任何传入和传出流量。

• 但是，它由 Amazon 的 Kafka 托管流 (MSK) 服务管理，这意味着我无法精细控制服务器安装设置（甚至不知道它们是什么）。MSK 只是发布 zookeeper 和消息代理 URL 供客户端使用。

• 生产者作为 AWS Lambda 函数运行，但是当我在普通 EC2 实例上运行它时问题仍然存在。

• 权限不是问题。我已经为 lambda 角色分配了它需要的所有 AWS 权限（AWS 总是非常明确地说明哪个操作需要哪个缺少的权限）。

• 连接性不是问题。我可以使用标准 telnet 访问动物园管理员和消息代理的 URL。但是，向 zookeepers 发出命令是有效的，而向消息代理发出命令总是最终失败。由于Kafka 在 TCP 上使用二进制协议，我不知道如何进一步调试问题。

编辑

正如建议的那样，我用

./kafkacat -b $BROKERS -L -d 经纪人

并得到：

那么，这是客户端和代理 API 版本之间的一种不匹配吗？记住我无法控制 AWS 提供的 Kafka 集群的版本或配置，我该如何从中恢复？

如何将 Kafka Connect 适配器与 Amazon MSK 结合使用？根据 AWS 文档，它支持 Kafka 连接，但没有记录如何设置和使用适配器。

所以我正在尝试在 S3 事件上编写一个 lambda 函数，它将消息放入 kafka 主题。我的 aws lambda 函数正在触发并且也没有收到任何错误。但我无法在 Kafka 主题中看到这些消息。

这是我的 lambda 函数

我的 lambda 函数一直运行到 for 循环，但无法看到之后会发生什么。请帮忙

我在 AWS 中有一个正在运行的 debezium 集群，这没有问题。我想试试 AWS MSK。所以我启动了一个集群。然后我启动了一个 EC2 来运行我的连接器。

然后安装了confluent-kafka

默认情况下，AWS MSK 没有架构注册表，因此我从连接器 EC2 架构注册表 conf 文件对其进行了配置：

然后/etc/kafka/connect-distributed.properties归档

安装连接器：

启动服务

现在一切都开始了。然后我创建了一个 mysql.json 文件。

创建 debezium 连接器

然后它声明在连接器 EC2 中给出此错误。

它永远不会停止此错误消息。

描述连接配置

我在 AWS 中使用 Kafka MSK。因此，我们没有本地 kafka 与所有必需的连接器连接，例如在 confluent 上。实际上，我使用 kakfa mongo 连接器，我想找到一种方法将 kafka mongo 连接器 jar 推送到 kafka MSK 集群的实例上。jar 将被推送到的路径是 plugins.path 所用连接器的属性中定义的。

请问有什么办法吗？

我正在尝试使用 Kafka 连接器将 Mulesoft 连接到 Amazon MSK。我按照亚马逊https://docs.aws.amazon.com/msk/latest/developerguide/getting-started.html中的步骤进行操作，但不确定是否需要创建 EC2 实例.. 是必需的还是仅用于演示他们给？有没有人尝试过这种连接？

谢谢。

Mulesoft IDEAS 门户：https ://help.mulesoft.com/s/ideas#0872T0000009uqgQAA

我正在使用sarama golang 库将消息推送到Amazon MSK。到目前为止，我使用的是 msk 版本 2.2.1，我的代码运行良好，但现在 msk 版本已更改为 2.3.1。现在，我无法将消息推送到主题。

错误：

分区-1

偏移量 -1

请求的主题或分区在此代理上不存在。

代码：

我也将 sarama 版本更改为 maxVersion config.Version = sarama.MaxVersion，但它不适用于 Amazon MSK 2.3.1。

请提供一些解决方案。

任何人使用 AWS MSK 和 TLS，使用 Spring-kafka，下面是我们应用程序的详细信息，使用下面的配置，应用程序无法正常工作

1. 我们已经在 Fargate 上部署了我们的消费者/生产者
2. kafka-client 版本为 2.1.1

3. 以下是用作消费者和生产者一部分的配置值

   /li>

当我们部署应用程序时，Fargate 实例不断重启，抛出内存不足异常，但我们的任务定义是 4cpu 和 12 GB RAM，通常应用程序在 2cpu 和 4 GB RAM 下运行良好。此外，应用程序在早期使用自托管 Kafka 时运行良好。

我在 vpc 中有一个亚马逊 msk 集群（kafka），我可以通过同一 vpc 中的客户端（EC2 实例）访问它。我的问题是..我可以从本地计算机上的客户端访问我的集群吗？我该如何做这个配置？我尝试更改 vpc 和子网络的路由表，但仍然无法。