问题标签 [apache-kafka]

我从 GitHub 下载了 kafka-dev repo，并打算按照官方页面运行性能测试。

我构建了 Kafka 并在 perf/README.md 中运行了命令：

然后我启动了 zookeeper 和 kafka 服务器，最后（在 perf 目录中）：

但是测试失败了kafka.common.OffsetOutOfRangeException，这是错误信息：

有任何想法吗？

如主题描述中所述，我正在尝试Kafka 0.8使用Scala 2.9.2.

0.8我能够使用( https://cwiki.apache.org/KAFKA/kafka-08-quick-start.html )的快速入门获得一个工作版本，但Scala 2.8.0默认情况下它是针对它编译的。

我试图修改步骤

到

它编译没有错误，但在启动期间它抱怨它找不到主类。

任何帮助将不胜感激。

我阅读了 Kafka 网站上的文档，但是在尝试实现一个完整的最小示例（生产者 --> kafka --> 消费者）之后，我不太清楚“消费者状态”如何处理偏移量。

一些信息

1. 我正在使用高级 API (Java)
2. 我的消费者是一个带有 Main 的简单类，与“快速入门”Kafka 页面上的基本相同
3. 我正在使用动物园管理员
4. 我正在使用单个经纪人

现在，文档说 HighLevel API 消费者使用 zookeeper 存储其状态，所以我希望偏移量，因此消费者的状态将保持在

• Kafka 代理重新启动
• 消费者重启

但不幸的是，它没有：每次我重新启动代理或消费者时，所有消息都会重新传递。现在，可能这些都是愚蠢的问题，但是

1. 在 Kafka 重启的情况下：我知道这取决于消费者来保持其状态，所以很可能当代理（重新）启动重新传递所有（！）消息并且消费者决定消费什么时......对吗？如果是这样，如果我有 10.0000.0000 条消息会发生什么？

2. 如果 JVM 消费者重启：如果状态保持在 Zookeeper 上，为什么要重新传递消息？新的 JVM 是否有可能具有不同的消费者“身份”？而在这种情况下，如何绑定之前的身份呢？

我想使用 ruby​​ kafka 客户端库来生成事件，但遇到了一个我不知道如何解决的问题。任何帮助，将不胜感激。

我尝试过使用 kafka-rb（acrosa、mheffner 和 bpot 叉子）。问题是，无论我通过图书馆发送什么，例如

我得到一个：

在服务器上。在同一台服务器上，我可以通过提供的控制台生产者发送文本而不会出现任何问题。

如果您之前看到过此内容，我将不胜感激。由于我对 Scala 不是很熟悉，所以我不确定问题出在哪里，但在我看来，引发此异常的那一行与从套接字读取 clientId 有关，而且在我看来， ruby 客户端没有发送这样的东西。

当我查看在 tcpdump 表单 kafka-rb 和提供的生产者上生成的消息时。红宝石的看起来更短。此外，无论我使用 kafka-0.7 还是 0.8，我都会得到完全相同的行为。

我已经在 Amazon EC2 实例上设置了 Kafka。

我按以下顺序完成了以下操作：(1) SSH 进入实例 (2) 启动 Zookeper (3) 启动 Kafka (4) 执行生产者和消费者程序。

到这里为止一切都很好。但是，一旦我关闭启动 Kafka 的 SSH 窗口，Kafka 服务就会停止。我不能再执行生产者和消费者程序。

即使在我关闭 SSH 窗口之后，如何让 Kafka 服务器永久地处理所有请求。

谢谢你。

我正在使用 zookeeper 从 kafka 获取数据。在这里，我总是从最后一个偏移点获取数据。有没有办法指定偏移时间来获取旧数据？

有一个选项 autooffset.reset。它接受最小或最大。有人可以解释什么是最小和最大的。autooffset.reset 可以帮助从旧偏移点而不是最新偏移点获取数据吗？

我想建立一个日志聚合系统，我找到了淘宝开发的这些工具。它们都可以用来收集日志以进行进一步的处理和分析。它们之间有什么不同？

我正在尝试重新平衡使用 KafkaSpout 的 Storm 拓扑。我的代码是：

但是，在重新平衡期间，会显示以下错误跟踪：

有人可以告诉我可能是什么问题吗？我是否需要在 kafkaSpout 中定义更多内容，以便在重新平衡时正确关闭然后重新启动？

我是卡夫卡的新手。我正在尝试使用 1 个主题和分配给该主题的 1 个消费者组来实现一个简单的排队系统。但是我不知道如何创建一个消费者组。

ps 我正在使用带有 kafka-rb gem 的 Ruby。

谢谢！埃里克

我有 6 个系统 A、B、C、1、2、3。Kafka 安装在 A(producer),B(producer),C(consumer) 并配置。现在 1,2,3 都安装了 zookeeper，这三个管理 kafka 集群。这是集群Kafka的正确方法吗？我对所使用的逻辑是否正确？如果没有，请向我解释正确的方法。提前谢谢。