问题标签 [kafka-producer-api]

我们有一个 Kafka 集群，由 3 个节点组成，每个节点具有 32GB 的 RAM 和 6 核 2.5 CPU。

我们编写了一个 kafka 生产者，它从 twitter 接收推文并将其分批发送到 Kafka 5000 条推文。

在 Producer 中我们使用producer.send(list<KeyedMessages>)方法。

推文的平均大小为 7KB。

打印发送语句前后的时间（以毫秒为单位）来测量发送 5000 条消息所用的时间，我们发现大约需要 3.5 秒。

问题

我们测试 Kafka 性能的方式是否正确？

是否使用带有键控消息列表的 send 方法将一批消息发送到 Kafka 的正确方法？还有其他方法吗？

影响生产者性能的重要配置有哪些？

我尝试运行此代码，但遇到了一些问题`

当我在沙盒上启动时：

我有

我有一个带有 3 个 kafka 节点和 3 个 zk 节点的 kakfa 集群。

生产者在 AWS 机器上，试图将数据推送到我的内部网服务器上运行的 kafka 集群上。

当从控制台创建主题（JOB_AWS_14）时

它工作正常。

但是在哪里创建了一个主题（JOB_AWS_8）

它不工作。

哪些设置出了问题以及如何更正。

请帮我。

我是卡夫卡的新手！！

是否可以从 apache kafka 的代理中排除主题？如何？

要为某个主题运行生产者，我们给出以下命令：

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic kafkatopic

我们在此命令中没有代理选项。无论如何我们可以排除经纪人，无论是命令行还是java API？

还有关于 Kafka 的 java API 的任何文档吗？有教程吗？？

提前致谢 ：）

我需要将日志写入通过 Kerberos 保护的 Kafka 主题。

我正在使用 log4j 1.2.17 和 Kafka 08.2.2。

KafkaLog4jAppender 支持的唯一选项是这些

这不允许我设置任何 JAAS 选项，例如

我是否必须开发一个接受 JAAS 详细信息的自定义 KafkaLog4jAppender，或者有没有办法使用 KafkaLog4jAppender 将日志写入安全的 kafka 主题？

我正在尝试在循环中加载数据文件（以检查统计信息）而不是 Kafka 中的标准输入。下载 Kafka 后，我执行了以下步骤：

启动动物园管理员：

启动服务器：

创建了一个名为“test”的主题：

运行制片人：

消费者聆听：

我想将一个数据文件传递给消费者可以直接看到的生产者，而不是标准输入。或者是否有任何可以读取数据文件的 kafka 生产者而不是控制台消费者。任何帮助将不胜感激。谢谢！

我得到了一个可以完全抓取的数据流。数据全部放入 Kafka，然后发送到 Cassandra。现在卡夫卡消费者非常慢，比生产者慢得多。我希望它们完全一样。我该怎么做才能达到这个结果或我的代码有什么问题？

这是我在 python 中的 Kafka 消费者代码：

编辑：

我还添加了我的个人资料结果，代码行似乎很慢

感谢你的回复。

我试图产生一些消息并放入主题，然后从控制台消费者那里获取相同的信息。

使用的代码：

}

输出：

主题名称 - 测试消息计数 - 10 log4j:WARN 找不到记录器 (kafka.utils.VerifiableProperties) 的附加程序。log4j:WARN 请正确初始化 log4j 系统。消息发布时间 - 2 月 16 日星期二 02:00:56 IST 2016 消息发布时间 - 2 月 16 日星期二 02:00:56 IST 2016 消息发布时间 - 2 月 16 日星期二 02:00:56 IST 2016 年消息发布时间 - 2 月 16 日星期二:00:56 IST 2016 消息发布时间 - 2 月 16 日星期二 02:00:56 IST 2016 消息发布时间 - 2 月 16 日星期二 02:00:56 IST 2016 消息发布时间 - 2 月 16 日星期二 02:00:56 IST 2016 消息发布时间 - 2 月 16 日星期二 02:00:56 IST 2016 消息发布时间 - 2 月 16 日星期二 02:00:56 IST 2016 消息发布时间 - 2 月 16 日星期二 02:00:56 IST 2016

从命令行我提供主题名称为“kafkatopic”和消息计数“10”。该程序运行良好，没有异常，但是当我尝试从控制台查看消息时，它们没有出现。主题已创建。

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafkatopic --from-beginning

你能帮忙看看出了什么问题！！

有人可以解释这些文件的含义，存在于 kafka 代理日志中。

root@a2md23297l:/tmp/kafka-logs-1# cat recovery-point-offset-checkpoint
0
5
my-topic 0 0
kafkatopic_R2P1_1 0 0
my-topic 1 0
kafkatopic_R2P1 0 0
test 0 0
root@a2md23297l:/tmp/kafka -logs-1# cat replication-offset-checkpoint
0
5
my-topic 0 0
kafkatopic_R2P1_1 0 2
my-topic 1 0
kafkatopic_R2P1 0 2
test 0 57

仅供参考，my-topic, kafkatopic_R2P1_1 ,my-topic,kafkatopic_R2P1,test是创建的主题。提前致谢。

我是 Kafka 的新手，几天后从生产者那里创建了几个主题（自动），即分区 1、反射事实 -1 和 ISR -1。它工作得很好，用来很好地消费所有主题消息。

今天，即两天后，我运行了我的生产者和消费者程序，反之亦然，但我的消费者无法从主题中消费/读取消息。我检查了所有日志，没有任何线索发现出了什么问题。

出了什么问题？主题会在一段时间后变得陈旧吗？我需要检查 kafka-server 属性的任何属性值吗？

请帮我。

谢谢你。〜夏姆