问题标签 [kafka-producer-api]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
251 浏览

spring - 发布-订阅通道都进入 Kafka 导致重复的 KafkaProducerContexts

我正在尝试使用 Spring Integration 将数据从一个通道发送到两个不同的 Kafka 队列,这些数据在到达各自队列的途中经过不同的转换。问题是我显然有重复的生产者上下文,我不知道为什么。

这是我的流程配置:

例外是:

无法在 bean 名称“not_specified”下注册对象 [org.springframework.integration.kafka.support.KafkaProducerContext@3163987e]:已经有对象 [org.springframework.integration.kafka.support.KafkaProducerContext@15f193b8] 绑定

我尝试过使用不同的kafkaConfig对象,但这并没有帮助。同时,ProducerMetadata从不同的第一个参数中可以看出,实例是不同的addProducer。这些提供了其他元数据中相应目标队列的名称。

听起来有一些正在创建的隐式 bean 定义相互冲突。

如何用两个KafkaProducerContexts 解决这个异常?

0 投票
0 回答
1134 浏览

apache-kafka - 如何从运行在 Windows 7 上的 Eclispe 访问受 kerberos 保护的 kafka 代理

我有这个java代码试图将消息添加到kafka队列

kafka 代理是由 kerberos 保护的远程 Linux 机器

当我使用 Eclispe 在本地 Windows 机器上执行上述 java 代码时,我得到以下日志输出

我创建了一个包含以下内容的 kafka_jaas.conf 文件

并将其位置作为 JVM 参数传递

为什么这种方法不起作用?

你如何执行一个 kafka procuder,它正在将消息写入由 kerberos 保护的代理。

0 投票
0 回答
121 浏览

apache-kafka - 使用 HDP2.3 在 EC2 上实现 KafkaConnect

我正在按照链接http://www.confluent.io/blog/how-to-build-a-scalable-etl-pipeline-with-kafka-connect中给出的步骤在具有 HDP2 的 EC2 上安装 kafka -connect .3 平台。

但我收到错误: 错误无法刷新 WorkerSourceTask{id=test-mysql-jdbc-0},在等待生产者刷新未完成的消息时超时,还剩 1 个

完整的错误可以在下面看到: 图像

这是kafka 问题还是HDP 问题?因为我在AWS EMR上做了同样的事情并且它有效。

0 投票
1 回答
1580 浏览

performance-testing - kafka性能测试参数含义

我需要用 kafka 进行一些性能测试。

我正在使用此处解释的指南: https ://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines

它使用如下命令: bin/kafka-run-class.sh org.apache.kafka.clients.tools.ProducerPerformance test7 50000000 100 -1 acks=1 bootstrap.servers=localhost:9092 buffer.memory=67108864 batch.size=8196

我不明白:

题目名称:test7

num_records: 50000000

记录大小:100

server_address: bootstrap.servers=localhost:9092 buffer.memory=67108864

但我不明白以下内容的含义:

-1

确认=1

缓冲区.内存=67108864

批处理大小=8196

有没有人清楚他们的意思?或者你知道这个工具的任何文档吗?

谢谢

0 投票
1 回答
11099 浏览

apache-kafka - Kafka 消费者在获取主题元数据时“找不到领导者”

当我尝试使用 Kafka 生产者和消费者 (0.9.0) 脚本从主题推送/拉取消息时,我收到以下错误。

生产者错误

消费者错误

为什么我会收到错误,我该如何解决?

配置

在 Mac 上运行 Docker 容器中的所有组件。ZooKeeper 和 Kafka 在不同的 Docker 容器中运行。

Docker 机器(boot2docker) IP 地址:192.168.99.100 ZooKeeper 端口:2181 Kafka 端口:9092

Kafka配置文件server.properties设置如下:

命令

我从 kafka 服务器 Docker 容器中运行以下命令。我已经创建了一个具有一个分区和复制因子为 1 的主题。

请注意,领导者指定为 0,这可能是问题的一部分。

然后我执行以下操作来发送一些消息:

这是我用来尝试使用消息的命令,它会产生我在上面发布的消费者错误。

我已经确认了端口21819092并且可以从 Kafka Docker 容器中打开和访问:

0 投票
0 回答
116 浏览

apache-kafka - 如何编写一个kafka消费者来消费一个sqoop命令?

我有从休息服务生成的这个 sqoop 命令,我希望 kafka 消费者使用这个 sqoop 命令。

我对卡夫卡很陌生,需要帮助。

0 投票
1 回答
774 浏览

java - Apache Kafka:如何从不同的机器发送数据

我最近开始研究 Apache KAFKA,用于我正在开发的 IOT 应用程序。现在,我的设备已经使用 HTTP POST 和 GET 向服务器发送数据。

经过至少5-6个小时的艰苦奋斗。我无法弄清楚我们如何使用 HTTP POST 将数据发送到 Kafka 服务器。

此外,网络上是否有任何好的现实生活示例显示了 KAFKA 集群的详细配置,这对像我这样的初学者非常有帮助。

0 投票
1 回答
1055 浏览

apache-kafka - Apache Kafka 生产者配置错误

根据生产者配置的文档,参考 Apache Kafka 的 0.9.0.0 版本:

http://kafka.apache.org/documentation.html#producerconfigs

我需要使用以下属性来指定经纪人列表:

这是我的制作人课程:

这是我的依赖:

如您所见,我使用的是 0.9.0.0 版本的 Apache Kafka。当我尝试运行我的 Producer 类时,我收到以下错误:

为什么是这样?我什至验证了我的 jar 文件的内容,它使用了 0.9.0.0 版本的 Apache Kafka!(kafka_2.11-0.9.0.0.jar)

0 投票
1 回答
2436 浏览

java - 如何在kafka中实现多个生产者和多个消费者

我是 kafka 的新手,我有很多要求,比如我有很多服务器会产生大量日志,我想创建多个生产者和消费者。

我已经为单个生产者和消费者实现了,任何人都可以帮助我了解如何创建多个生产者和消费者。

这是我的生产者和消费者代码

制作人:-

消费者 :-

先谢谢了。

0 投票
1 回答
1664 浏览

apache-kafka - 如何将发出的元组写入kafka主题

应用程序正在从一个 Kafka 主题读取消息,在存储在 MongoDB 中并进行一些验证之后,它正在写入另一个主题。在这里,我面临着应用程序进入无限循环的问题。我的代码如下:

在上面的代码中,KAFKA_RESPONSE_BOLT正在将数据写入主题。 通过发出如下数据来提供此数据abc1_DEVICE_BOLTKAFKA_RESPONSE_BOLT