问题标签 [confluent-cloud]

我经常遇到与连接器本身创建的数据库历史主题相关的问题。我尝试了一个临时解决方案（通过更改数据库历史主题的名称） ，但这不是更好的处理方法。此外，保留字节设置为 -1。这是错误堆栈。

这是一个关于如何将自我管理的 ksqlDB / ksql 服务器连接到融合云的问题。

我在 GCP 亚洲南部的https://confluent.cloud/中有一个融合的基本集群。

在这个集群中，我想将自我管理的 ksqlDB 连接到 Confluent 云控制中心。

这是我从融合云复制并放入托管 ksqldb 的配置。

这个自我管理的 ksqldb 是一个单机 GCP 计算单元。

以下属性中存在相同的配置。

并且使用以下命令启动了 ksql 服务器。

命令行 ：

有几件事在ksql terminal：

• STREAM 在终端中创建成功，但在云端不可用。

• 在命令“显示流；” 它能够显示特定的STREAM。

• 打印{流}；即使将数据推送到 STREAM，它也不会显示数据。

• 我没有设置任何主机条目。

• 在 ksql 终端中生成以下异常后的显示连接器。

  ksql> 显示连接器；io.confluent.ksql.util.KsqlServerException: org.apache.http.conn.HttpHostConnectException: 连接到 localhost:8083 [localhost/127.0.0.1, localhost/0:0:0:0:0:0:0:1]失败：连接被拒绝（连接被拒绝） 原因：org.apache.http.conn.HttpHostConnectException：连接到 localhost:8083 [localhost/127.0.0.1, localhost/0:0:0:0:0:0:0:1 ] failed: Connection denied (Connection denied) 原因：无法连接到服务器。原因：无法连接到服务器。

我期待我的 ksqlDB 出现在融合云中，但看不到。

我不知道还需要什么配置，这样我的自我管理的 ksql 服务器才能工作并显示在融合云中。

我正在尝试使用 java 中的基本 Avro 发布者，可在示例中使用

https://github.com/confluentinc/examples/blob/5.5.1-post/clients/avro/src/main/java/io/confluent/examples/clients/basicavro/ProducerExample.java

我成功地在我的本地机器 (macOS) 和 GCP 中可用的机器中发布了自我管理的融合云（自我管理的融合二进制文件）

同样尝试了融合云

我有一个融合的云访问，我正在尝试使用相同的示例，但它显示的值是垃圾字符。

在融合云中执行的步骤

1. 按名称事务手动创建主题
2. 使用以下条目创建了配置文件
3. 通过传递绝对文件路径配置来运行 java 应用程序。
4. 我能够看到架构也设置在融合云中。

你们中的任何人都可以在这里帮助我，因为缺少什么。

我正在尝试阅读 Kafka 主题中的所有消息。我正在使用融合云服务，所以不要在我的本地主机中运行 Kafka。我将配置设置为：'enable.auto.commit': 'True','auto.offset.reset': 'earliest', 'default.topic.config': {'auto.offset.reset': 'smallest'}. 但是，它没有给我任何消息，或者如果我同时从生产者发送消息，它只给出该消息而不是所有偏移消息。

如何在 python 中读取所有偏移量消息？

我正在建立一个 Dockerized Confluent 控制中心，它指向我们的 Confluent Cloud Kafka，我在这里和这里遇到了这个常见问题：

根据这些参考资料，解决方案是设置一个属性：

不幸的是，经过几次变化后，我找不到合适的环境来让魔法发生。这是我在 docker-compose.yml 中尝试过的所有变体：

有没有人成功地将 C3 容器连接到 Confluent Cloud？或者，更具体地说，通过了这个障碍？

最终目标是拥有一个 UI，用于查看在本地运行但连接到 Confluent Cloud 的 dockerized KSqlDB/cli。

我有 Kafka 在融合云上运行，我可以使用 Node.js 客户端生成数据，数据作为字符串发送，并且我在融合云中获得以下字段。

然后，我创建了一个ElasticsearchSink Connector并将其连接到弹性搜索云。如果我没有在弹性搜索中创建任何映射，则数据传输成功，但格式是这样的。

现在的问题是如果我想运行任何geo queries它不会允许我并给出以下错误：

原因是动态映射不支持 geo_field。因此，现在当我尝试在创建索引时为弹性搜索创建自定义映射时，如下所示：

然后融合连接器失败并显示以下错误：

我也尝试过booked作为一个text领域，但事情似乎并不奏效。我没有在 Confluent 云上强制执行任何架构。这是来自融合云的一些基本配置。

如何强制映射以便我可以geo queries在 Elastic Search 中运行？

更新：这个问题仍然存在主要是因为发送到 Kafka 的数据格式

两种格式都无法映射到上面定义的映射ElasticSearch并connector sink显示以下错误：

尝试在基于 Confluent 算子的 EKS 集群上安装 Confluent Platform 基于以下参考链接。我已经配置了 EKS 集群，但无法从本地访问。我应该怎么做才能从本地访问 K8 集群。请帮我解决这个问题。注意：我们是基于aws-valut. 参考链接：https ://docs.confluent.io/current/installation/operator/co-quickstart.html

错误信息 ：

我们计划将 AWS MSK 服务用于托管 Kafka 和 Schema Registry 以及来自 Confluent 的 Kafka Connect 服务来运行我们的连接器（Elasticsearch Sink 连接器）。我们计划在 EC2 中运行 Schema Registry 和 Connectors。

根据 Confluent 团队的说法，如果我们将 MSK 用于 Kafka，他们将无法正式支持 Confluent Schema Registry 和 Kafka Connect。

那么，任何人都可以分享他们的经验吗？就像 Anybuddy 在生产环境中同时使用了 MSK 和 Confluent 服务的组合？

使用这种组合有什么风险吗？

是否推荐使用这种组合？

如果我们在连接器方面遇到任何问题，Confluent 社区如何支持？

还有其他建议、意见或替代方案吗？

我们已经拥有 Confluent 企业平台许可证，但我们希望托管 Kafka 服务，这就是我们选择 AWS MKS 的原因，因为根据我们的分析，它比 Confluent Cloud 更具成本效益？

请提前分享您的想法和感谢。

谢谢

使用 Camel-Quarkus 提供的官方示例作为起点，我修改了逻辑以便写入 Kafka 代理。使用指向本地代理的 Camel Kafka 组件一切正常。

尝试联系我们的 Confluent Cloud 代理的事情变得稍微复杂一些。我们使用的安全协议是 SASL_SSL。以下代码片段会导致在此问题末尾添加日志。为了重现，请在此处找到完整的代码https://github.com/LeonardoBonacci/camel-kafka-sasl

记录的ProducerConfig似乎是正确的。当我在普通的 Kafka Producer 中使用相同的凭据时，除了将记录写入 Kafka 主题之外，它还会打印几乎相等的ProducerConfig。这表明配置值很好地传播到了底层生产者。

解释日志似乎 SSL 握手有效。下一步不太成功：SaslClientAuthenticator尝试失败。

从各种相互矛盾的博文和官方文档中，我无法推断是否真的支持 SASL_SSL。

谁能帮我解决这个问题？非常感激！

跑步

以错误结束：panic: runtime error: index out of range [0] with length 0

我想知道这是否会发生，或者我是否正在查看本主题中的某种损坏数据？

为什么我问这个，是因为我在使用主题的服务之一中收到空指针异常，我不确定为什么会发生这种情况，因为我希望即使在墓碑记录的情况下key也不会为空，但value可以是null（如果墓碑记录为 null）。因此，在过滤掉null有价值的消息后，我不确定还能做什么？

[编辑]：当我用confluent-kafka-python图书馆尝试同样的事情时，我没有收到任何错误，但我确实在这个过程中得到了一些空记录。现在看来，当从主题中读取时，代码中的错误是通过过滤掉空值来解决的。

.filter((key, value) -> key != null || value != null)

我会认为null键被跳过？

[编辑 2] 连接到我的其他但相关的问题，此处未描述。我不知道.toStream()在与另一个人加入后KTable会推动一条墓碑记录。