问题标签 [kafka-producer-api]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
spring - 发布-订阅通道都进入 Kafka 导致重复的 KafkaProducerContexts
我正在尝试使用 Spring Integration 将数据从一个通道发送到两个不同的 Kafka 队列,这些数据在到达各自队列的途中经过不同的转换。问题是我显然有重复的生产者上下文,我不知道为什么。
这是我的流程配置:
例外是:
无法在 bean 名称“not_specified”下注册对象 [org.springframework.integration.kafka.support.KafkaProducerContext@3163987e]:已经有对象 [org.springframework.integration.kafka.support.KafkaProducerContext@15f193b8] 绑定
我尝试过使用不同的kafkaConfig
对象,但这并没有帮助。同时,ProducerMetadata
从不同的第一个参数中可以看出,实例是不同的addProducer
。这些提供了其他元数据中相应目标队列的名称。
听起来有一些正在创建的隐式 bean 定义相互冲突。
如何用两个KafkaProducerContext
s 解决这个异常?
apache-kafka - 如何从运行在 Windows 7 上的 Eclispe 访问受 kerberos 保护的 kafka 代理
我有这个java代码试图将消息添加到kafka队列
kafka 代理是由 kerberos 保护的远程 Linux 机器
当我使用 Eclispe 在本地 Windows 机器上执行上述 java 代码时,我得到以下日志输出
我创建了一个包含以下内容的 kafka_jaas.conf 文件
并将其位置作为 JVM 参数传递
为什么这种方法不起作用?
你如何执行一个 kafka procuder,它正在将消息写入由 kerberos 保护的代理。
apache-kafka - 使用 HDP2.3 在 EC2 上实现 KafkaConnect
我正在按照链接http://www.confluent.io/blog/how-to-build-a-scalable-etl-pipeline-with-kafka-connect中给出的步骤在具有 HDP2 的 EC2 上安装 kafka -connect .3 平台。
但我收到错误: 错误无法刷新 WorkerSourceTask{id=test-mysql-jdbc-0},在等待生产者刷新未完成的消息时超时,还剩 1 个
完整的错误可以在下面看到: 图像
这是kafka 问题还是HDP 问题?因为我在AWS EMR上做了同样的事情并且它有效。
performance-testing - kafka性能测试参数含义
我需要用 kafka 进行一些性能测试。
我正在使用此处解释的指南: https ://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines
它使用如下命令: bin/kafka-run-class.sh org.apache.kafka.clients.tools.ProducerPerformance test7 50000000 100 -1 acks=1 bootstrap.servers=localhost:9092 buffer.memory=67108864 batch.size=8196
我不明白:
题目名称:test7
num_records: 50000000
记录大小:100
server_address: bootstrap.servers=localhost:9092 buffer.memory=67108864
但我不明白以下内容的含义:
-1
确认=1
缓冲区.内存=67108864
批处理大小=8196
有没有人清楚他们的意思?或者你知道这个工具的任何文档吗?
谢谢
apache-kafka - Kafka 消费者在获取主题元数据时“找不到领导者”
当我尝试使用 Kafka 生产者和消费者 (0.9.0) 脚本从主题推送/拉取消息时,我收到以下错误。
生产者错误
消费者错误
为什么我会收到错误,我该如何解决?
配置
在 Mac 上运行 Docker 容器中的所有组件。ZooKeeper 和 Kafka 在不同的 Docker 容器中运行。
Docker 机器(boot2docker) IP 地址:192.168.99.100
ZooKeeper 端口:2181
Kafka 端口:9092
Kafka配置文件server.properties
设置如下:
命令
我从 kafka 服务器 Docker 容器中运行以下命令。我已经创建了一个具有一个分区和复制因子为 1 的主题。
请注意,领导者指定为 0,这可能是问题的一部分。
然后我执行以下操作来发送一些消息:
这是我用来尝试使用消息的命令,它会产生我在上面发布的消费者错误。
我已经确认了端口2181
,9092
并且可以从 Kafka Docker 容器中打开和访问:
apache-kafka - 如何编写一个kafka消费者来消费一个sqoop命令?
我有从休息服务生成的这个 sqoop 命令,我希望 kafka 消费者使用这个 sqoop 命令。
我对卡夫卡很陌生,需要帮助。
java - Apache Kafka:如何从不同的机器发送数据
我最近开始研究 Apache KAFKA,用于我正在开发的 IOT 应用程序。现在,我的设备已经使用 HTTP POST 和 GET 向服务器发送数据。
经过至少5-6个小时的艰苦奋斗。我无法弄清楚我们如何使用 HTTP POST 将数据发送到 Kafka 服务器。
此外,网络上是否有任何好的现实生活示例显示了 KAFKA 集群的详细配置,这对像我这样的初学者非常有帮助。
apache-kafka - Apache Kafka 生产者配置错误
根据生产者配置的文档,参考 Apache Kafka 的 0.9.0.0 版本:
http://kafka.apache.org/documentation.html#producerconfigs
我需要使用以下属性来指定经纪人列表:
这是我的制作人课程:
这是我的依赖:
如您所见,我使用的是 0.9.0.0 版本的 Apache Kafka。当我尝试运行我的 Producer 类时,我收到以下错误:
为什么是这样?我什至验证了我的 jar 文件的内容,它使用了 0.9.0.0 版本的 Apache Kafka!(kafka_2.11-0.9.0.0.jar)
java - 如何在kafka中实现多个生产者和多个消费者
我是 kafka 的新手,我有很多要求,比如我有很多服务器会产生大量日志,我想创建多个生产者和消费者。
我已经为单个生产者和消费者实现了,任何人都可以帮助我了解如何创建多个生产者和消费者。
这是我的生产者和消费者代码
制作人:-
消费者 :-
先谢谢了。
apache-kafka - 如何将发出的元组写入kafka主题
应用程序正在从一个 Kafka 主题读取消息,在存储在 MongoDB 中并进行一些验证之后,它正在写入另一个主题。在这里,我面临着应用程序进入无限循环的问题。我的代码如下:
在上面的代码中,KAFKA_RESPONSE_BOLT
正在将数据写入主题。
通过发出如下数据来提供此数据abc1_DEVICE_BOLT
:KAFKA_RESPONSE_BOLT