问题标签 [confluent-platform]

当我在没有 Docker 的情况下运行 kafka 和 zookeeper 时，我可以在 /tmp/kafka-logs 目录中看到主题分区日志文件。现在使用 Docker，即使我在 docker-compose.yml 的 Volumes 部分中指定了日志目录，我也看不到 docker VM 中的文件，例如“TOPICNAME-PARTITIONNUMBER”。这里有什么我遗漏的吗？关于我可以在 Docker 虚拟机中找到这些目录的任何想法..

我正在尝试添加一个拦截器来验证生产者发布到 Kafka 主题的消息。除了 Kafka 主题执行的模式验证之外，我还需要做一些验证。我遵循的步骤如下。

1. 我编写了一个扩展 ProducerInterceptor 接口的 Java 类。
2. 编译类并创建一个 jar 文件，该文件放置在类路径中包含的文件夹中。
3. 在 Kafka 安装中添加 intercetors.classes= classname 到 producer.properties。

但是当我向主题发布消息时，我编写的自定义拦截器类不会被调用。（我也没有收到任何错误。消息完美地发布到主题）。

我已经提到了https://cwiki.apache.org/confluence/display/KAFKA/KIP-42%3A+Add+Producer+and+Consumer+Interceptors

请就此提出建议。

我正在使用从 Confluent ( http://www.confluent.io/product/kafka-streams/ ) 下载的 kafka 流。

我按照说明在 Windows 上运行 Zookeeper 和 Kafka。但是当我尝试使用命令启动 ZooKeeper 时 D:\Softwares\confluent-3.0.1\bin\windows>zookeeper-server-start.bat ./etc/kafka/zookeeper.properties，我得到了错误

D:\Softwares\confluent-3.0.1\bin\windows../../etc/kafka/log4j.properties 这个时候出乎意料。

如果我检查“zookeeper-server-start.bat”文件，命令看起来没问题，如下所示。confluent-3.0.1\etc\kafka 目录下还存在 log4j.properties 文件

在为Kafka进程设置各种堆、GC 等 java 参数时，似乎存在相互冲突的思想流派。

一组说要编辑kafka-server-startbash 文件

• 这里

另一组说要设置一个系统变量，让kafka启动来接它

• 这里

在来自 Confluent 的最新说明中，出现了以下“建议”：

关于在哪里设置这些的官方 Confluent 派对路线是什么？（我假设默认值不使用这些来适应较小的测试机器）

我正在使用以下代码（不是真的，但让我们假设它）来创建一个模式并由生产者将其发送给 kafka。

问题是代码只允许我使用此模式发送 1 条消息。然后我需要更改模式名称以发送下一条消息......所以名称字符串现在是随机生成的，所以我可以发送更多消息。这是一个黑客，所以我想知道正确的方法来做到这一点。

我还研究了如何在没有架构的情况下发送消息（即，已经向 kafka 发送了 1 条带有架构的消息，现在所有其他消息都不再需要架构了）——但new GenericData.Record(..)需要一个架构参数。如果它为空，它会抛出一个错误。

那么将avro模式消息发送到kafka的正确方法是什么？

这是另一个代码示例 - 与我的非常相似：
https ://github.com/confluentinc/examples/blob/kafka-0.10.0.1-cp-3.0.1/kafka-clients/producer/src/main/java/io /confluent/examples/producer/ProducerExample.java

它也没有显示如何在不设置模式的情况下发送。

MyKafkaProducer能够用于KafkaAvroSerializer将对象序列化到我的主题。但是，KafkaConsumer.poll()返回反序列GenericRecord化而不是我的序列化类。

MyKafka制片人

我的卡夫卡消费者

MyBean bean = record.value();该行会抛出一个强制转换异常，因为它无法将 GenericRecord 强制转换为 MyBean。

我正在使用kafka-client-0.9.0.1, kafka-avro-serializer-3.0.0。

是否可以从源连接器中获取已注册的架构？我在模式注册表中注册了一个静态模式，需要从连接器获取该模式并将其传递给 SourceRecord。

我使用 CachedSchemaRegistryClient 使用模式 id 获取模式，但它返回了 Avro 模式。所以我必须将其转换为 org.apache.kafka.connect.data.Schema。请就此提供一些指示。

或者连接器中的任何其他方式，我可以在不使用 CachedSchemaRegistryClient 的情况下直接执行相同操作？

谢谢你，斯里吉斯

我在 Windows 上使用 Confluent 3.0.1 平台。我按照安装指南和开发人员指南进行所有安装和开发我的拓扑。

我启动了 Zookeeper，然后启动了 Kafka 服务器并尝试运行我的拓扑。但是在 Kafka 服务器上出现以下错误。即使我手动创建主题并运行拓扑，我也会看到相同的错误。

我的拓扑代码如下：

以下是我正在使用的属性，它是不同 java 源文件的一部分。

如何从连接器中的连接属性中获取模式注册表 url？

我喜欢在我的连接器中访问此架构 url 以获取基于 ID 的架构。

是的，我可以明确地将 schema.url 作为我的连接器中的属性传递。但是还有其他方法可以从 connect proeprties 在连接器中自动获取它吗？

谢谢你，

我kafka-avro-console-producer从 confluent-3.0.0 使用，执行以下操作时发生错误：