问题标签 [confluent-platform]

这些是我正在运行的命令：-

我正在尝试使用融合平台（kafka-connect）连接 sqlserver 并面临以下问题：

当我尝试连接到默认模式（即 dbo ）时，连接已建立，但无法将数据提取到 kafka 消费者中。我正在使用的连接详细信息是：

当我尝试连接到任何其他模式时，生产者抛出错误，我正在使用的连接详细信息是：

错误 ：

我们目前正在将我们的 kafka 集群配置为具有 SSL 和 ACL。

我们的集群由 3 个节点组成，三个节点都包含相同的 SSL/TLS（因为我只是将证书从一个节点复制到其他两个节点）和所有其他 kafka 配置。

其中两个节点成功加入集群，但最后一个没有。

这是错误： ReplicaFetcherThread

它说

UnknownTopicOrPartitionException：此服务器不托管此主题分区。

我觉得这很奇怪，因为它们三个都具有相同的配置。这三台服务器位于 Amazon EC2 中。它们也具有相同的安全组。

希望你能帮助我理解这个问题。

花了太多时间尝试安装 confluent-kafka，但没有成功。我知道有一个 librdkafka 依赖项，但似乎已成功安装。

尝试以下建议：

http://docs.confluent.io/3.1.1/installation.html#cpp-client

https://github.com/confluentinc/confluent-kafka-python/issues/6

https://github.com/confluentinc/confluent-kafka-go/issues/39

结果

有人可以帮我解决问题以正确加入 2 个流，其中 key 和 value 为GenericRecord. 首先，如您所见，我正在使用 AVRO 模式为键和值创建 2 个主题。之后，我加入了两个流，并在输出主题中创建了 new GenericRecord，即带有投影模式的所谓投影记录，我得到了代码片段后所示的异常：

堆栈跟踪：

嗨，我目前正在使用 Docker 设置 Kafka。我已经设法使用已发布的融合图像设置 Zookeeper 和 Kafka，请参阅以下 docker-compose 文件：

现在，我已经成功地将 Kafka 容器正确地暴露给我的非 dockerized 应用程序，方法是将adverted.listener 属性正确设置为 PLAINTEXT://{DOCKER_MACHINE_IP}:9092，但正如您所见，我还添加了其他融合应用程序到扩展我的 Kafka 设置（Kafka REST，Schema-Registry）。由于adverted.listener 属性，这些无法再连接到我的Kafka 实例。

我可以将其更改为正确的容器主机名 --> PLAINTEXT://kafka:9092 但随后我无法使用其他应用程序再次访问 kafka 实例。有什么简单的方法可以解决这个问题吗？

我正在尝试通过 SSL 从 .net 客户端（Confluent.Kafka 0.9.4）连接到 kafka 代理，但得到 AccessViolationException : Attempted to read or write protected memory。这通常表明其他内存已损坏。使用的配置：

没有 SSL 配置它工作正常，我认为我如何引用文件（密钥）本身可能有问题？尝试过的资源、嵌入的资源和内容。

我为我的数据存储（Amppol AD​​S）开发了 kafka-sink-connector（使用 confluent-oss-3.2.0-2.11，连接框架），它将来自 kafka 主题的数据存储到我商店中的相应表中。

只要 kafka 服务器和 ADS 服务器启动并运行，一切都按预期工作。

需要有关特定用例的帮助/建议，其中事件在 kafka 主题中被摄取，并且接收器组件 (ADS) 下的组件 (ADS) 已关闭。这里的期望是每当接收器服务器出现时，应该将之前在 kafka 主题中摄取的记录插入到表中；

请告知如何处理这种情况。

连接框架中是否有任何支持可用于此..？或者至少一些参考资料会很有帮助。

我正在使用融合平台 3.2.0，kafka 0.10.2。

我一直在运行融合控制中心，它运行了大约一周，但它现在处于某种不稳定状态。该问题似乎源于控制中心内部使用的 kafka 流逻辑。

我遇到了许多错误和异常。我不确定什么是相关的，什么是杂乱无章的，但我会粘贴我看到的内容。

当我退回经纪人时，我会看到许多这样的消息：

当我反弹控制中心时，它将开始启动，但随后会不断重新平衡：

它这样做了很长时间，然后开始吐出这些异常，我认为这可能是根本原因：

然后它回到再平衡循环。很长一段时间后它似乎放弃了这样做，并且控制中心从未完成启动。

我不知道下一步该尝试什么。我尝试将控制中心数据目录配置指向不同的目录，但仍然发生相同的锁定异常。我确定只有一个控制中心实例在运行。zookeeper 日志中似乎没有什么特别突出的。

如果有人对此有任何调试技巧，将不胜感激。

我正在尝试一个简单的快速入门示例，我得到：

原因：org.apache.kafka.connect.errors.ConnectException：找不到任何实现Connector且名称与io.confluent.connect.s3.S3SinkConnector匹配的类，可用的连接器有：io.confluent.connect.jdbc.JdbcSinkConnector , io.confluent.connect.jdbc.JdbcSourceConnector, org.apache.kafka.connect.tools.MockSinkConnector, org.apache.kafka.connect.file.FileStreamSourceConnector, org.apache.kafka.connect.sink.SinkConnector, io.confluent .connect.elasticsearch.ElasticsearchSinkConnector、org.apache.kafka.connect.tools.MockConnector、io.confluent.connect.hdfs.HdfsSinkConnector、org.apache.kafka.connect.file.FileStreamSinkConnector、org.apache.kafka.connect.tools .VerifiableSourceConnector, org.apache.kafka.connect.tools.VerifiableSinkConnector, org.apache.kafka.connect.tools.SchemaSourceConnector, org.apache.kafka.connect.source.SourceConnector、org.apache.kafka.connect.tools.MockSourceConnector、io.confluent.connect.hdfs.tools.SchemaSourceConnector

这是一个全新的 VM，运行通过 Debian apt 包安装的最新 Confluent Platform 3.2.0。我可以看到它肯定在运行 CP 3.2.0。为什么 S3 连接器类不可用？

不确定这是否相关，但如果我这样做：

文档引用了安装中显然不存在的 kafka-connect-s3 目录。

我正在使用 Confluent 平台的开源变体，但根据https://www.confluent.io/product/compare/，开源版本包括 Confluent Amazon S3 Connect 连接器。

我在一组 Docker 容器中使用 Confluent 3.2，其中一个正在运行 kafka-connect 工作程序。

由于我不清楚的原因，我的四个连接器中的两个 - 具体来说，hpgraphsl 的MongoDB sink 连接器- 停止工作。我能够确定主要问题：连接器没有分配任何任务，可以通过调用GET /connectors/{my_connector}/status. 其他两个连接器（相同类型）没有受到影响，并且很高兴地产生输出。

我尝试了三种不同的方法来让我的连接器通过 REST API 再次运行：

• 暂停和恢复连接器
• 重新启动连接器
• 使用相同的配置删除和创建同名的连接器

这些方法都没有奏效。我终于通过以下方式让我的连接器再次工作：

• 以不同的名称删除和创建连接器，例如，my_connector_v2而不是my_connector

这里发生了什么？为什么我无法重新启动现有连接器并让它启动实际任务？kafka-connect 工作线程或 Kafka 代理上的某些与 kafka-connect 相关的主题中是否有任何陈旧数据需要清理？

我已经在特定连接器的 github repo 上提交了一个问题，但我觉得这实际上可能是与 kafka-connect 的内在函数相关的一般错误。有任何想法吗？