问题标签 [apache-kafka]

我正在尝试使用 Java 程序导入 kafka 类，但找不到需要导入的 Java 类，例如：

谁能告诉我在哪里可以找到这些 Java 类以及如何提供它们？在我看来，Kafka 是用 Scala 编写的，所以在下载其源代码后我找不到那些 java 类。

我正在运行一个使用 log4j 进行日志记录的 Storm 集群。除了标准的基于文件的日志记录之外，我还想添加一个 kafka appender。

我的 log4j 配置文件如下所示：

一切正常，除了 kafka appender 不使用定义的 ConversionPattern，即使该定义与文件 appender 中的定义完全相同，它按预期工作。我必须如何更改配置才能使 kafka appender 工作？

有没有人知道

kafka.javaapi.producer.Producer

可以在多个方法调用（例如多个 send(...)）之间重用，还是每次都应该关闭？

在 Github（或其他地方）上是否有一些使用 Apache Kafka（首选 0.8 版）的好的演示项目？我们一直在用一些玩具项目对其进行测试。但我想看看一些现实世界中更大的项目。

我发现在 Kafka 0.72 中，我们可以指定 zk.connect 或 broker.list。但是在 Kafka 0.8 中，我们只能指定 broker.list ，不能指定 zk.connect 而不指定 broker.list。我认为，在这种情况下，我们无法通过 zookeeper 来平衡生产者。如果有人使用Kafka 0.8，或者对此有所了解？非常感谢！

根据 Kafka 官方文档，生产者吞吐量约为 50MB/S。但是我做了一些测试，整个生产者只有2MB/S左右。测试环境和文档说的一样。一个生产者，一个经纪人，一个动物园管理员在一台独立的机器上。消息大小为 100 字节，批量大小为 200，刷新间隔为 600 条消息。测试环境相同，配置相同。那为什么我的测试结果和文件说的差距这么大？

我们知道，在 kafka 0.7 中，我们可以为 producer 指定 zk.connect，以便 producer 可以找到 broker 的添加和删除。但是在 kafka 0.8 中，我们不能为生产者指定 zk.connect。kafka 0.8中的生产者可以找到吗？如果不是，系统的扩展性不比0.7版本差吗？

我们知道，在 kafka 0.8 中，producer 直接连接到 broker，而不连接到 zookeeper。比它如何在每个请求的基础上实现基于 Zookeeper 的负载平衡？实际上，当创建一个主题时，它的分区将分布在一个或多个代理中。发送消息时，会根据其关键字将其投递到某个分区。也就是说，一定要发送到固定broker上的固定partition。所谓的负载均衡是如何工作的？

我下载了 Apache Kafka 并成功完成了快速入门。当我尝试运行提供的示例程序时，出现错误：

无法加载主类。

我不知道我错过了什么我什至设置了类路径。

我正在尝试在 spring 集成中实现自定义入站通道适配器以使用来自apache kafka的消息。基于spring集成示例，我发现我需要创建一个实现MessageSource接口的类并实现receive()方法，该方法将从kafka返回消费的Message。但是基于kafka 中的消费者示例， KafkaStream 中的消息迭代器由 BlockingQueue 支持。因此，如果队列中没有消息，则线程将被阻塞。

那么实现 receive() 方法的最佳方法是什么，因为该方法可能会阻塞，直到有东西要消耗..？

在更一般的意义上，我们如何为流式消息源实现自定义入站通道，直到有东西准备好消费......？