问题标签 [confluent-platform]

我需要使用 Confluent kafka-avro-serializerMaven 工件。从官方指南中，我应该将此存储库添加到我的 Maven pom

问题是 URL http://packages.confluent.io/maven/目前似乎不起作用，因为我得到了下面的响应

事实上 Maven 并没有找到神器

你知道问题可能是什么吗？谢谢

我们为名为 Ampool AD​​S 的产品实现了一个 kafka 接收器连接器，该连接器将来自 kafka 主题的数据提取到相应的 ampool 表中。主题和表格按其名称映射。

我需要将单个主题（从主题 ---> 表中摄取）处理为专用的接收器任务。

例如，如果我的配置包含 3 个不同的主题（topic1、topic2、topic3），Sink 连接器应该创建 3 个不同的接收器任务，每个任务（每个表）并行地对各自/映射的表进行专用摄取。

注意：将单个主题处理为专用接收器任务的原因是，如果特定表处于脱机/未创建状态，则其易于使用 RetriableException 机制。在配置的时间间隔后，只会重播单个主题/表记录。

使用kafka connect框架可以做到这一点，如果可以的话..？

当我运行我的 kafka 连接作业时，我收到以下错误

我的属性文件是

我尝试使用GET调用 kafka 连接（在它崩溃之前）curl http://localhost:8083 /JdbcSourceConnector/config/validate，我得到了响应{"version":"0.10.2.0-cp1","commit":"64c9b42f3319cdc9"}curl: (3) <url> malformed。任何想法我做错了什么，因为这项工作在 kafka 0.9 中工作。

我正在尝试运行一个与 kafka 通信的简单 python 应用程序。我正在寻找使用高山容器。这是我当前的 dockerfile （它不是最佳的......只是想让事情暂时正常）。

需求文件中有 confluent-kafka。构建失败

我的问题是 a) 有没有办法让这个工作而不在容器内构建？如果我可以简单地将库复制到 alpine 就足够了。或者即使我可以复制 librdkafka。b）如果没有，我怎样才能让 libssl 和 libcryto.so 工作？

我们使用 Go 的 confluent kafka 包测试了具有 2 个和 3 个消费者的消费者组（知道我们将来可能会有更多消费者）。

每个主题有 10 个分区，消息在所有消费者之间拆分。

每个主题有 5 个分区，不知何故只有一个消费者获得消息。

知道为什么会出现这种行为吗？

我正在使用“confluent-kafka-python”客户端将 avro 数据写入 kafka 主题。

我已经写入了数据，但是当我尝试使用以下命令读取数据时：kafka-avro-console-consumer 出现错误：

显然它无法解码数据。有任何想法吗 ？

我试图弄清楚如何最初从查询中获取所有数据，然后只使用 kafka 连接器进行增量更改。这样做的原因是我想将所有数据加载到弹性搜索中，然后保持 es 与我的 kafka 流同步。目前，我首先使用带有模式=批量的连接器，然后将其更改为时间戳。这工作正常。

但是，如果我们想要将所有数据重新加载到 Streams 和 ES，这意味着我们必须编写一些脚本以某种方式清理或删除 kafka 流和 es 索引数据，修改 connect ini 以将模式设置为批量，重新启动一切，给是时候加载所有数据了，然后将脚本再次修改为时间戳模式，然后再次重新启动所有内容（需要这样一个脚本的原因是，偶尔，批量更新会通过我们尚无法控制的 etl 进程来纠正历史数据，并且此过程不会更新时间戳）

有没有人在做类似的事情并找到了更优雅的解决方案？

我用以下 web ui https://schema-registry-ui.landoop.com尝试了不同的东西

我似乎无法将以下内容放入注册表：

此外，有没有办法从当前模式中引用另一个模式来创建复合/嵌套模式？

我正在玩Conluent Platform/Kafka Connect和类似的东西，我想运行几个例子。

我从这里开始快速入门。它的意思是：

1. 安装 Confluent 平台 (v3.2.1)
2. 运行 Zookeeper、Kafka Broker 和 Schema Register
3. 运行读取文件数据的示例（witk Kafka Connect）

我运行了这个命令（编号 3）：

但得到了这个结果：

在ConnectStandalone.java第 67 行的文件中是这样的：Time time = Time.SYSTEM;，但我不知道，为什么它会导致任何错误。有任何想法吗？我错过了什么重要的东西吗？

我的工作环境：

• Hortonworks 沙盒 [HDP 2.5.0.0-1245]
• CentOS 6.8 版
• Java：openjdk 版本“1.8.0_121”

我正在使用 Confluent 平台 3.2。在 3 台不同的 EC2 机器上运行 3 名工作人员。

我有一个连接器（debezium/MySQL 源），我将其删除并在几分钟后重新启动。但是由于以下错误，我无法成功启动连接器。连接器处于故障状态。我不得不重新启动工人来解决问题。

需要知道这是否是缓存问题？如何在不重新启动工作人员的情况下解决此问题。任何支持表示赞赏。