问题标签 [aws-msk]

我正在尝试在 EC2 上运行架构注册表 我的 kafka 正在 AWS 上运行。

这是我的属性文件

当我运行时，我得到以下错误

我已将其更改为 TSL ，PLAINTEXT 并且两者都没有，但都抛出错误。我也有从 EC2 到 MSK 的连接。

阿帕奇卡夫卡版本

汇合

即使我没有提到经纪人网址，我也会得到同样的错误

根据答案更新问题

当没有提到连接网址时

提到CLIENT://orCLIENT_SECURE://也会抛出同样的错误。

MSK 也提供Plaintext。我可以在客户信息中看到这一点

嗨，我正在使用 aws MSK 并尝试使用 spring kafka 客户端连接到它。从我的代码向 kafka 集群发送消息时，出现以下错误-

这是我的配置-

我可以按照此处的步骤使用命令行连接到 kafka 集群（生产和消费消息） - https://docs.aws.amazon.com/msk/latest/developerguide/produce-consume.html

主题 - topic1 确实存在，我可以从命令行列出它

请帮忙。

我正在尝试以分布式模式启动 Kafka 连接，即使在独立模式下我也无法继续

这是我的弹性搜索接收器属性

这是我的连接-distributed.properties

我还预先创建了三个 topi

我在 EC2 上运行它并使用 MSK 作为 Kafka 。我检查了从我的 EC2 到 MSK 的连接，并且我能够远程访问

我得到这个错误

问题：如果我必须在分布式模式下运行 Kafka 连接，我必须使用多个 EC2/vm 吗？

我想将 MongoDB 中的数据读入 Kafka 的主题中。我设法通过使用以下连接器属性文件在本地完成这项工作：

连接工作人员具有以下配置：

这在我当地的卡夫卡中完美无缺。我想在远程 MSK Kafka 集群上运行它。由于 kafka MSK 中没有对新的 kafka connect 插件的内置支持，我在使我的 kafka connect 源 mongo 插件工作时遇到困难，要从我的本地机器导出连接器，我带来了以下修改：在连接器属性等级 ：

在连接工作人员级别，我带来了以下修改：

但似乎这还不够，因为我收到以下错误：

通常，我设法从我的本地机器请求 Kafka MSK 集群（通过使用 VPN，并穿梭到 EC2 实例）。例如，列出远程 kafka msk 集群中的主题。我只需要这样做：

通过转到我本地的 kafka 安装文件夹。

并且此命令完美运行，无需更改本地计算机中的 server.properties。知道如何解决这个问题，以便将 kafka Debezium mongo Source 导出到 kafka MSK 集群。

我正在尝试使用 Kafka 连接器将 Mulesoft 连接到 Amazon MSK。我按照亚马逊https://docs.aws.amazon.com/msk/latest/developerguide/getting-started.html中的步骤进行操作，但不确定是否需要创建 EC2 实例.. 是必需的还是仅用于演示他们给？有没有人尝试过这种连接？

谢谢。

Mulesoft IDEAS 门户：https ://help.mulesoft.com/s/ideas#0872T0000009uqgQAA

我在 AWS MSK 中运行 Kafka / Zk 集群，并将架构注册表连接到它。

如果我在 中指定代理列表kafkastore.bootstrap.servers，它可以正常连接（使用协议SSL）。但是，如果我删除引导服务器配置并使用 Zookeeper 查询进行代理发现kafkastore.connection.url，那么我将无法连接到集群。这是因为 Zookeeper 从代理查询返回的内容以及 SR 如何使用它：

我猜想通过指定SSL协议，它会解析地图，然后连接到 CLIENT_SECURE 和 REPLICATION_SECURE 端点。但是，所有-internal.cluster.address端点都无法访问。

是否可以将 SR 配置为仅使用CLIENT_SECURE端点而不尝试连接端点REPLICATION_SECURE？

它与https://github.com/confluentinc/schema-registry/issues/1126有关

我正在尝试创建一个生产者 API，它应该只获取请求的主体并将其发送到 MSK 集群中的 kafka 主题。（消费者部分的问题几乎相同）

我在具有 3 个专用子网的 VPC 中创建了 MSK 集群。无服务器应用程序在同一 VPC 中运行，但另一个子网将 VpcConfig 添加到“serverless.template”文件中。我还在该文件上附加了策略“AWSLambdaFullAccess”和“AmazonMSKFullAccess”。双方的安全组都允许所有端口中的所有流量。

我在同一子网中创建了一个 EC2 实例，我可以使用命令“bin/kafka-console-producer.sh”成功连接并创建消息。

我的 dotnet 核心使用的是包“Confluent.Kafka”1.3.0 版。

代码如下：

我正在尝试使用直接从 MSK 提供的 DNS 设置引导服务器，并添加前缀“plaintext://”

知道为什么我在“ProduceAsync”行中出现 TimeOut 吗？

我的猜测是这是因为库“Confluence.Kafka”在某种程度上与 MSK 不兼容，但我真的不知道这是否属实。

事先谢谢你。

亲切的问候，

是否可以在我的笔记本电脑上使用 kafka docker 在本地开发带有 apache kafka 的事件数据流应用程序，然后将应用程序部署到 AWS msk (kafka)，这样可以通过仅用于预生产和生产来节省成本。

我一直在使用 Spring Cloud Stream 和 Kafka 一段时间。我有一个示例 SCS-Producer，它将数据抽出到输出主题。

以下是我的生产者代码：-

2) 应用程序.yml

请求：- 从未部署使用 AWS 原生服务的 AWS 应用程序。在上面的代码中，如果我在本地使用 Kafka 和应用程序，一切正常。但是我现在需要在 EC2 集群上部署我的应用程序，而且我必须使用 AWS MSK（这也是为我的团队预置的）。

到目前为止，我一直在使用 DevOps 工程师创建的管道，所以我从来没有真正自己集成任何东西，而且在这种情况下，我可以帮助我的文档或演示项目非常少或几乎没有。我非常困难，我需要你的帮助。任何人都可以帮助我访问页面或链接或任何资源，我可以在其中按照步骤 1. 在我的代码中包含预置的 AWS MSK 信息的所有配置信息，以便我可以在 AWS 上部署此应用程序？非常感激。

谢谢你。

我正在使用sarama golang 库将消息推送到Amazon MSK。到目前为止，我使用的是 msk 版本 2.2.1，我的代码运行良好，但现在 msk 版本已更改为 2.3.1。现在，我无法将消息推送到主题。

错误：

分区-1

偏移量 -1

请求的主题或分区在此代理上不存在。

代码：

我也将 sarama 版本更改为 maxVersion config.Version = sarama.MaxVersion，但它不适用于 Amazon MSK 2.3.1。

请提供一些解决方案。