问题标签 [confluent-cloud]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
134 浏览

scala - 在 Confluent Cloud 上将 Snowplow 与 Kafka 连接的问题

我已经成功地使用 Web Tracker、Scala Stream Kafka Collector、Stream Enrich、Druid 和 Metabase 在 Docker 中实现了端到端的本地实现。

在使用 Helm 在 Kubernetes 中构建工作暂存环境之前,我想尝试将 Scala Stream Kafka Collector 连接到我们的 Kafka Confluent Cloud 帐户。但是,我遇到了 SASL 身份验证问题。关于这个主题的文档非常稀少,只是将我们指向 Kafka 文档。这是我的config.hocon配置 -

但是,当容器启动时,输出中的配置不匹配 -

此外,我在控制台中收到以下错误 -

在搜索常用渠道寻求帮助时,建议此错误是由于 JAAS 配置对生产者不可见造成的,因此我非常确信这只是我这边的配置问题。除非我遗漏了什么,否则我希望生产者可以使用 SASL 身份验证,因为配置表明配置选项可用。

有没有人有这个问题的经验?

0 投票
1 回答
557 浏览

apache-kafka - 使用 KafkaJS 创建主题时出错

我正在使用 KafkaJS 创建主题。

出现以下错误:

message":"[Connection] Response CreateTopics(key: 19, version: 3)","broker":"HOST_NAME:9092","clientId":"example-producer","error":"请求参数不满足配置的策略","correlationId":3,"size":58}

但是,当我尝试列出集群中存在的主题时,我得到了成功的响应,因为主题已经存在。

0 投票
1 回答
103 浏览

apache-kafka-connect - 用于融合云的 JDBC 源连接器?

JDBC SOURCE 连接器是否可用于 Confluent Cloud?我想将 Snowflake 与 Confluent 云 kafka 主题连接起来。

0 投票
1 回答
227 浏览

apache-kafka - 雪花连接器“无法连接到雪花”

我正在与 Kafka 合作并尝试将雪花与它连接,但它没有连接。它给出了某种区域错误,服务器和集群应该在同一个区域,我在本地 Kafka 上尝试过并且不接受“snowflake.url.name”。

这是分布式模式下的配置文件。

日志文件:

请让我知道如何连接。

0 投票
1 回答
91 浏览

apache-kafka - 具有融合云区域错误的雪花连接器

我正在使用 confluent 并尝试将 MySQL 作为源连接,它确实连接了,但是当我尝试与雪花连接时,它给了我一个区域错误。

这是融合中的连接器配置

这是错误:

我尝试使用相同的区域但没有用。请帮帮我,在此先感谢。

0 投票
1 回答
89 浏览

apache-kafka - Confluent Replicator 为同一个集群复制配置模式注册表

我们有一个包含 2 个集群的环境 - dev 和 prod。

我们使用复制器将主题子集从 prod 迁移到 dev。

现在的问题是,由于两个集群/代理都在同一个集群中,它们共享相同的模式注册表。

在这种情况下,我不知道如何正确配置复制器,默认情况下,它通过覆盖这样的模式对我们造成了伤害: 在此处输入图像描述

我的复制器工作人员指向相同的源和目标模式注册表(生产者和消费者配置):

但生产者和消费者有不同的 API 密钥。

0 投票
1 回答
41 浏览

elasticsearch - Confluent 云弹性搜索接收器连接器

我想将融合云连接到弹性搜索(本地环境)。是否可以将本地弹性搜索连接到融合云 kafka?

谢谢,巴拉

0 投票
1 回答
244 浏览

java - Spring boot TopicRecordNameStrategy 使用消费者读取与其相关的记录类型

我正在尝试通过两个不同的 API 将事件发布到 kafka 的示例。一个接受创建事件,另一个接受相同主题用户的更新事件。

这两个 API 都将消息发布到具有不同模式的同一个 kafka 主题。

基本上是 UserCreated、UserUpdated 模式发布到用户主题。

消费者只对 UserUpdated 事件感兴趣,因此想知道如何设置消费者以支持 TopicRecordNameStrategy。现在我有两个消费者在听用户主题,并且都在接收消息。

我编写了连接到confluent kafka的示例spring boot应用程序,其中生产者和消费者都在同一个服务中

我有一个休息 API,它支持两个端点来创建和更新。这个 REST API 向生产者发布消息

这是我的代码。

应用 yml

RestController.java

生产者.java

消费者.java

输出

0 投票
1 回答
67 浏览

elasticsearch - 在 Confluent.Cloud(Kafka) 到 Elastic Cloud 之间创建 Elastic Sink 连接器

我正在 Confluent.Cloud(Kafka) 和 Elastic Cloud 之间创建接收器连接器

我在那里添加了以下详细信息,

但是,最后,我得到了以下错误,

Failed. Connector was unable to create the specified index. Please check your permissions and verify the configured elastic server is healthy

对于elasticsearch,我在Elastic.Cloud https://enterprise-search-deployment-327352.es.eastus2.azure.elastic-cloud.com:9243中创建了测试帐户

你能帮我解决这个问题吗?我需要在 Elastic cloud 和 confluent.cloud 中添加任何权限吗?

0 投票
1 回答
93 浏览

apache-kafka - 将 confluent.cloud(Kafka) 中的工作转换为弹性云

我正在 confluent.cloud(Kafka) 中创建弹性接收器连接器。在这里,如果我使用变换,它就不起作用。confluent.cloud(kafka) 会支持转换吗?

下面是我的脚本,