问题标签 [kafka-consumer-api]

问问题

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

3702 问题
Newest
Active
Bountied
318
Unanswered
0 投票
0 回答
166 浏览

java - Kafka OffsetRequest 当前版本

在下面这段代码中，kafka.api.OffsetRequest.CurrentVersion() 是什么，它的意义是什么？从可用的文档中我不清楚。在什么情况下，需要不同的版本 id？

0 投票
1 回答
1357 浏览

apache-kafka - Kafka 消费者路径不能以 / 字符结尾

我正在使用 Apache Kafka 0.8.2.1 将 Web 事件流式传输到其他数据源。我编写的 Kafka Producer 运行良好，当我运行 kafka-console-consumer.sh 时，我能够看到数据通过我的主题流式传输。但是，我没有任何运气试图让我的 Kafka 消费者检索消息。有任何想法吗？

当我的代码尝试运行 consumer.createMessageStreams(topicCountMap) 时，正在输出以下有关不正确路径的错误

这是我的 Kafka Consumer 的代码。

0 投票
4 回答
3490 浏览

multithreading - Kafka high-level consumer: Can partitions have multiple threads consuming it?

Can messages from a given partition ever be divided on multiple threads? Let's say that I have a single partition and a hundred processes with a hundred threads each - will the messages from my single partition be given to only one of those 10000 threads?

0 投票
1 回答
561 浏览

apache-kafka - 我想知道，当 startOffsetTime 的值为 kafka.api.OffsetRequest.EarliestTime() 时，偏移值是什么？

当我设置startOffsetTime=kafka.api.OffsetRequest.LatestTime()时，偏移量的值是最大的可用值。

什么时候设置startOffsetTime is kafka.api.OffsetRequest.EarliestTime()偏移值？

0 投票
1 回答
370 浏览

apache-kafka - when consume message from kafka,usually with a group id.But,SimpleConsumer just use a clientName.The clientName is group id?

when consume message from kafka,usually with a group id.But,SimpleConsumer API just use a clientName.The clientName is group id?

0 投票
1 回答
107 浏览

apache-kafka - 高级消费者垃圾收集了吗？

高级消费者的位置在 Kafka/Zookeeper 中保持不变。这些是否曾经收集过垃圾？

0 投票
0 回答
629 浏览

apache-kafka - 将 log.retention.hours 设置为非常高的数字的含义

我正在研究使用 Kafka 作为事件溯源模式的主要存储的可能性。我很难理解将东西存储在 Kafka 中是否是一个好主意，长期，或者为什么不。

简单地将 log.retention.hours 设置为一个非常大的数字，有效地将 Kafka 变成一个永久存储，这意味着什么？正如我所理解的那样——“Kafka 的性能在数据大小方面实际上是恒定的，因此保留大量数据不是问题。”

也就是说，我也感觉到这不是 Kafka 的常见用例，因此可能存在一些我不理解的限制。我完全同意这是一个坏主意，但我想了解原因。

0 投票
1 回答
907 浏览

apache-kafka - 高级消费者是否利用了 Kafka 0.8.2 中的新偏移管理？

在 0.8.2 中，提交偏移量似乎不再具有与以前相同的性能问题（http://blog.confluent.io/2014/12/02/whats-coming-in-apache-kafka-0- 8-2/ )。高级消费者是否也利用了这一点，或者它是一个单独的 API？即，当使用高级消费者时，我可以安全地开始更频繁地提交吗？

0 投票
1 回答
1682 浏览

apache-kafka - 高级消费者上的 commitOffsets 是否阻塞？

在 Java 客户端 ( http://kafka.apache.org/documentation.html#highlevelconsumerapi ) 中，高级消费者上的 commitOffsets 会阻塞直到成功提交偏移量，还是一劳永逸？

0 投票
1 回答
1195 浏览

java - Apache Kafka 放弃了我的生产者和消费者

我对 Apache Kafka 有一个不可预测的重大问题。我正在使用 Kafka 0.8，运行几个小时后它开始丢弃我的应用程序。特别是制作人。

这种行为是不可预测的，我无法始终如一地重现它。

  • 我的操作系统是 Mac 操作系统
  • 我正在使用 Java 7（Producer 是一个 Web 应用程序）
  • 我在 9092 和 9093 的同一个盒子上运行两个主题和两个服务器

我在 Zookeeper 上看到以下错误

这是我在 9093 服务器上看到的错误

我究竟做错了什么？


12345678910