问题标签 [apache-kafka]

我终于设法在 CentOS 机器上设置了 zookeeper 和 kafka 0.7.2 并尝试运行 console-producer.sh 示例。

除了http://kafka.apache.org/quickstart.html指南之外，还有其他人可以建议学习 kafka 的链接。只是设置我不得不找到这个网站以外的其他资源，结果令人沮丧。

任何建议表示赞赏。

Kafka 0.8 相对稀缺的文档没有提到平衡代理上现有主题、分区和副本的预期行为是什么。

更具体地说，经纪人到达和经纪人（领导者与否）崩溃时的预期行为是什么？

谢谢。

有没有办法清除kafka中的主题？

我将一条太大的消息推送到本地机器上的 kafka 消息主题中，现在出现错误：

在这里增加fetch.size并不理想，因为我实际上不想接受那么大的消息。

我正在尝试用 Java 实现一个简单的 Producer-->Kafka-->Consumer 应用程序。我能够成功地生产和消费消息，但是当我重新启动消费者时会出现问题，其中一些已经消费的消息再次被消费者从 Kafka 中获取（不是所有消息，而是最后的一些消息）消费的消息）。

我已autooffset.reset=largest在我的消费者中设置，我的autocommit.interval.ms属性设置为 1000 毫秒。

这是“重新传递一些已使用的消息”是一个已知问题，还是我在这里缺少任何其他设置？

基本上，有没有办法确保以前消费的消息都不会被消费者拾取/消费？

对不起，如果这是一个新手问题。但我试图了解我应该使用什么。据我了解，卡夫卡是：

Apache Kafka 是一个分布式发布-订阅消息系统。

SNS 也是发布/订阅系统。

我的目标是在 AWS 上使用一些队列消息系统和将分布在少数服务器上的应用程序（顺便说一下，主要语言是 Python）。因为它在亚马逊上，所以我的第一个想法是使用 SNS 和 SQS。但后来我看到很多人在 AWS 上使用 Kafka。一个比另一个有什么优势？

我有一个具有以下设置的 apache-kafka 0.8 集群 -

1) 3 个代理都在同一台机器上运行
2) 一个具有 10 个分区和 3 个副本的主题。

我有 20 位制作人为一个主题制作。
我有 10 个消费者从每个分区消费。我正在测试经纪人的故障安全性。

当所有代理都启动并运行时，消耗的消息数等于产生的消息数。

但是，当我通过逐个关闭代理来测试设置时，我观察到正在消耗的消息数量多于产生的消息数量。

可能的原因是什么？

在 Oracle DB 上实现读取缓存层的最佳方法是什么？因此，每当数据库更新时，缓存也会得到（一致性），我可以查询缓存以获取读取（数据），

Oracle SCN 是确定对数据库进行了哪些更改以便将其迁移到缓存的好方法吗？

Apache KAFKA 用作数据传输的连接机制？

我们如何使用 API 从 IDE 在 Kafka 中创建主题，因为当我这样做时：

我得到错误：

我按照开发人员的设置进行了操作。

我想尝试 kafka 0.8（据我所知它已经发布）。但是我在哪里可以找到 kafka maven 存储库。

我应该添加哪些额外的存储库 url？

我发现了一些博客

但它不起作用。我正在寻找适当的 Maven 依赖项。或者我应该从 git 中签出它并部署在我们的内部工件中？

有人知道可以将日志事件写入 Kafka 的 Log4J appender 的任何开源实现吗？