问题标签 [confluent-platform]

我最近在学习卡夫卡。

Kafka 和 Confluent 是什么关系？

在分布式模式下测试 kafka connect 时，我们发现它在待机模式下工作，而不是在活动模式下工作。

如果我们有两个成员集群，则一次只有一个为 HDFS 接收器连接器工作，另一个在待机状态下等待。如果第一个死掉或被中断，那么第二个等待的将接手操作。

它是否支持在一个集群组 ID 下通过 HDFS 的不同接收器名称一起工作的方式，如果一个发生故障，刷新操作根本不会中断，因为第二个正在运行并将数据推送到 HDFS？

尝试将 Message Hub Bluemix 服务与 confluent-kafka-python 一起使用时，我收到 ERROR Uncaught exception: , KafkaError{code=_INVALID_ARG,val=-186,str="No such configuration property: "sasl.mechanisms"" }

我正在尝试使用 Docker Compose 在一个示例中运行 Confluent 平台。将其与单个节点一起使用的示例如下：

http://docs.confluent.io/3.1.1/cp-docker-images/docs/quickstart.html#getting-started-with-docker-compose

包含所有 Docker 映像的 git 存储库还有许多其他示例，包括一个应该提供控制面板等的示例，详细信息如下：http: //docs.confluent.io/3.1.2/cp-docker-图像/文档/intro.html#choosing-the-right-images。

运行这个简单的例子工作正常。当我尝试运行cp-all-in-one示例（指向 GitHub 的链接）时，运行时出现以下错误sudo docker-compose start（sudo docker-compose create运行时没有错误）：

文档中没有提到cpallinone_default任何地方。有人可以请教吗？

在pypy5.6上安装confluent_kafka时，报错：undefined symbol PyUnicode_FromFormat Error，我不知道它是怎么发生的？</p>

操作系统是：CentOs5.6

完整的错误输出是：

Traceback（最近一次调用最后一次）：文件“”，第 1 行，在文件“/usr/local/pypy/site-packages/confluent_kafka/ init .py”中，第 2 行，从 .cimpl 导入 * ImportError：无法加载扩展模块'/usr/local/pypy/site-packages/confluent_kafka/cimpl.pypy-41.so'：/usr/local/pypy/site-packages/confluent_kafka/cimpl.pypy-41.so：未定义符号：PyUnicode_FromFormat

我该如何解决这个问题？

我们正在使用 Kafka 0.10... 我在网上（和文档中）看到一些关于当 enable.auto.commit 为 TRUE 时如何在 kafka 中管理偏移量的相互矛盾的信息。检索消息的同一个 poll() 方法是否也以配置的时间间隔处理提交？

如果我在单线程应用程序中从 poll 检索消息，在 SAME 线程中处理消息以完成（包括处理错误），这意味着 poll() 在我的处理完成之前不会再次被调用，那么我认为没有恐惧在丢失消息时，对吗？这仅在 poll() 在随后的调用中尝试提交时才有效（当然，如果 auto.commit.interval.ms 已通过）。如果在收到消息后立即提交（在我的应用程序处理消息之前），这对我们不起作用......

这很重要，因为我想确定如果我们使用自动提交策略，我们不会丢失消息。重复消息对我们来说是可以容忍的，我们只是无法容忍丢失的数据。

感谢您的澄清！

1) 在 Java 客户端中，使用 producer.put() 我们可以为整数和字符串添加序列化程序。我们如何为 confluent-kafka-python 客户端执行此操作？2）我们如何序列化protoBuf记录？

使用 Kafka Java API，我可以使用重新平衡侦听器来寻找主题的开头，如下所示（代码是 Scala，Kafka API 是 Java）：

我会在订阅这样的主题时使用它：

如何使用 confluent-kafka python api 做到这一点？

我可以编写一个类似的分区分配回调函数来调用：

但我找不到任何 API 来进行搜索。我怎么做？

需要更改 Kafka Producer 配置的哪些参数，以便生产者应该： 1）重试 n 次 2）在同一消息的 n 间隔后，以防代理关闭。

我需要处理与此相关的情况： https ://github.com/rsyslog/rsyslog/issues/1052

配置

我正在使用来自 docker hub的confluent/kafka图像在两个单独的容器中启动zookeeper和kafka实例。我用来启动容器的命令如下：

我现在有两个容器zookeeper和kafka正在运行。

请注意，我已将容器的端口2181和9092映射到我的主机端口。我通过在浏览器中尝试localhost:2181/9092验证了此映射是否正常工作，并且在运行容器的终端中打印了一些错误。

然后我通过在我的主机中发出以下命令来创建主题：

这是成功的，我通过使用以下命令列出主题来验证它：

现在的问题：

我正在尝试使用以下命令向代理生成一些消息：

我收到以下异常：

我在互联网上阅读了一些建议我更新主机文件的线程。如果是这样，我必须在我的主机文件中放入什么条目？

还有一些线程建议我在配置文件中设置ADVERTISED_HOST条目以更正 IP 。哪个配置文件？？？我在哪里进行更新？

如果它是用于 kafka 代理的server.properties文件，那么我确实尝试进入由confluent/kafka映像创建的容器。它看起来像这样：

有什么建议可以克服这个问题并解决我的主机上可能从 kafka 容器产生和消费的问题吗？

多谢！！！