问题标签 [apache-kafka]

好吧..世界上的每一项服务都可以连接到我的动物园管理员（除了 kafka）。下面是我在 server.properties 文件中的连接字符串

在两个 Zookeeper 服务器上拥有所有端口 ....完全混杂模式。我什至可以从kafka服务器telnet到zookeeper服务器..

所以....相当困惑为什么kafka不会连接到zookeeper？

我正在使用 ubuntu 12.04 和 kafka 0.7.2

如果我想编译 TESTPROD.java，我应该怎么做，因为它对 kafka 的 scala 文件有很多依赖？

Although I've come across Kafka before, I just recently realized Kafka may perhaps be used as (the basis of) a CQRS, eventstore.

One of the main points that Kafka supports:

• Event capturing / storing, all HA of course.
• Pub / sub architecture
• Ability to replay the eventlog which allows the ability for new subscribers to register with the system after the fact.

Admittedly I'm not 100% versed into CQRS / Event sourcing but this seems pretty close to what an eventstore should be. Funny thing is: I really can't find that much about Kafka being used as an eventstore, so perhaps I am missing something.

So, anything missing from Kafka for it to be a good eventstore? Would it work? Using it production? Interested in insight, links, etc.

Basically the state of the system is saved based on the transactions/events the system has ever received, instead of just saving the current state / snapshot of the system which is what is usually done. (Think of it as a General Ledger in Accounting: all transactions ultimately add up to the final state) This allows all kinds of cool things, but just read up on the links provided.

有没有办法从主题中删除所有数据或在每次运行之前删除主题？

我可以修改 KafkaConfig.scala 文件来更改logRetentionHours属性吗？有没有办法在消费者阅读后立即删除消息？

我正在使用生产者从某处获取数据并将数据发送到消费者消费的特定主题，我可以在每次运行时从该主题中删除所有数据吗？我每次在主题中只想要新数据。有没有办法以某种方式重新初始化主题？

我正在开发一个将使用Kafka的 Android 应用程序。它有很多依赖项，所以我决定使用 Ivy 来管理它们（尽管我以前从未使用过它，而且我一般对 Apache 的东西没有经验）。

我的问题是 Kafka 的依赖项之一snappy-java有一个“native”文件夹，其中包含 linux、mac 和 windows 的本地库，而 Android 会抛出错误The library 'snappy-java-1.0.4.1.jar' contains native libraries that will not run on the device.如果我只是手动包含库，我会取出 snappy -java jar，从源代码重新编译，没有native文件夹，然后放回项目中。由于 Ivy 是自动构建的，我想我必须通过ivy.xml文件来完成它，但我不确定如何。

我正在尝试直接从依赖项中排除该文件夹：

但这并没有改变任何东西。我查看了 Ivy 上的文档<exclude>，似乎更多的是排除传递依赖，或者排除整个模块。是否有可能得到更具体的？

似乎有一种方法可以通过弄乱 snappy-java 的 ivy 文件来做到这一点<conf>，<artifact>但我也无法让它工作，而且我认为 Ivy 无论如何都会自动生成这些文件。谁能指出我正确的方向？提前致谢。

考虑以下代码：

问题是如何获取最后一个偏移量并设置回变量Offset以从 Kafka 读取下一批数据？

输出如下：

文档说最后一个数字是偏移量

也就是说，在上述情况下，我最后一次读取的偏移量将是299136

我想向 Kafka 服务器发送消息。经纪人名单不包括本地主机。但是当produce调用send方法时出现异常：Producer connection to localhost:9092 unsuccessful

例外：

我正在尝试在 https://github.com/TheHydroImpulse/storm-kafka-starter编译和运行storm-kafka-starter项目

KafkaTopology 的主要功能如下所示：

jar 使用 maven 编译。但是在运行拓扑时，我得到了错误：

本地存储库在storm-kafka jar 中确实有BrokerHosts，我已经在我的java 文件中导入了KafkaConfig 库。我无法弄清楚错误的原因。任何建议，将不胜感激。

正如这里提到的简单消费者

https://cwiki.apache.org/confluence/display/KAFKA/0.8.0+SimpleConsumer+Example

另请注意，我们正在明确检查正在读取的偏移量是否不小于我们请求的偏移量。这是必需的，因为如果 Kafka 正在压缩消息，即使请求的偏移量不是压缩块的开头，提取请求也会返回整个压缩块。因此，我们之前看到的消息可能会再次返回。

最后，我们跟踪阅读的消息数。如果我们在最后一个请求中没有读取任何内容，我们会睡一秒钟，这样我们就不会在没有数据的时候敲打 Kafka。

就像在我的程序中一样，它首先读取一条旧消息，因为它是旧的而进入睡眠状态，然后读取新记录。

有什么办法让 SimpleConsumer 只读取新消息吗？

我想从 HTTP Post 获取数据，所以在 servlet 中我正在实现 doPost，如下所示

它抛出运行时错误如下：

出了什么问题可以帮助我理解吗？

提前感谢您的时间。