问题标签 [message-hub]

我正在尝试使用来自 logstash 的 IBM Message Hub。我的logstash.conf：

基于Message Hub Consumer 示例，我缺少以下 kafka 配置属性：

但是，我无法从logstash 文档中看到如何设置这些。

我的 kafka_jaas.conf 文件如下所示：

结果是

如果您有 Message Hub 帐户，则可以简单地复制我的问题：

（最新的logstash也有同样的问题，目前是5.6.2）

我正在尝试将 NIFI 连接到 IBM MessageHub，但没有任何连接正常工作。

有没有人有一个关于如何配置它的工作示例？

我在公告板中收到超时异常。

我已经配置了一个PublishKafka_0_11 1.4.0 处理器。将其配置为 SASL_SSL，添加标准 ssl 上下文服务，添加 jaas.conf

在日志中我得到：

2017-11-24 13:47:01,407 信息 [kafka-producer-network-thread | producer-1] Oakcommon.network.SaslChannelBuilder 由于 org.apache.kafka.common.KafkaException 创建通道失败：无法配置 SaslClientAuthenticator

我正在使用 node-rdkafka ( https://github.com/Blizzard/node-rdkafka ) 从 IBM Bluemix Message Hub 消费和生成消息。只要我每个节点进程最多订阅 2 个主题，我就可以毫无问题地使用和生成消息。一旦我订阅了三个或更多主题，我的消费者就不再收到关于任何订阅主题的任何消息。我没有看到任何错误。

这里有软限制吗？或者我的代码中有什么东西导致了这个问题？增加服务器内存似乎没有任何效果。

生产者代码：

消费者：

有什么建议么？

我正在尝试创建从 Message Hub 到 S3 对象存储的“桥”，从我创建的凭据中复制信息，但我总是收到一条错误消息，提示“请尝试刷新页面，或重新登录到 Bluemix。 ”

我已经为这些凭据和要用作目标的存储桶创建了访问策略。

还尝试了私有和公共端点。我无法找到解释如何完成此操作的文档。似乎没有任何效果。谢谢！

我正在测试使用 Secure Gateway 将消息从 Solaris 中的 WMQ 桥接到 Message Hub - Bluemix，反之亦然。

由于安全网关客户端不适用于 Solaris，那么在 Solaris 中使用安全网关客户端的选项是什么？

我正在尝试从 Apache Spark 2.2.1 Structured Streaming 连接到 IBM Message Hub。

连接代码非常基本：

我正在启动火花外壳：

但是，我收到一个断开连接的错误：

我增加了调试输出，sc.setLogLevel("DEBUG")我得到：

我见过以下类似的问题：

• I/O java.io.EOFException 中的 Kafka 错误：null - 但是，这个问题是针对更旧版本的 Kafka

我知道某些输出只是“噪音”，但是，我的 spark 流应用程序似乎没有接收任何数据。我已与控制台客户端连接，并且能够查看数据。

更新 1 - 我尝试配置 JaaS，但仍然遇到相同的错误。问题可能是 JaaS 代码需要在每个工作节点上运行，但没有在它们上运行。

更新 2

我也尝试过使用 jaas.conf：

和 ...

还是一样的问题...

我有一个线程偶尔会列出消息中心上的主题。但有时，我会收到一条 :Failed to send SSL Close 消息。

有任何想法吗？

我收到了来自consumer.close的警告。

消费者的配置：

• sasl.mechanism = PLAIN
• security.protocol = SASL_SSL
• group.id = 消费者1
• ssl.enabled.protocol = TLSv1.2
• ssl.endpoint.identification.algorithm = HTTPS
• ssl.protocol = TLSv1.2
• sasl.jaas.config = org.apache.kafka.common.security.plain.PlainLoginModule 需要用户名=“用户名”密码=“密码”；

[警告] 2018-01-25 20:12:23.204 [ClusterChannelMonitorTaskThread] org.apache.kafka.common.network.SslTransportLayer {} - 无法发送 SSL 关闭消息 java.io.IOException：SSLEngine.wrap 返回的意外状态，预计关闭，收到OK。不会向对等方发送关闭消息。在 org.apache.kafka.common.network.SslTransportLayer.close(SslTransportLayer.java:158) [kafka-clients-0.11.0.0.jar:?] 在 org.apache.kafka.common.utils.Utils.closeAll(Utils .java:663) [kafka-clients-0.11.0.0.jar:?] 在 org.apache.kafka.common.network.KafkaChannel.close(KafkaChannel.java:59) [kafka-clients-0.11.0.0.jar: ?] at org.apache.kafka.common.network.Selector.doClose(Selector.java:582) [kafka-clients-0.11.0.0.jar:?] at org.apache.kafka.common.network.Selector.close (Selector.java:573) [kafka-clients-0.11.0.0.jar:

我正在尝试使用 Confluent Kafka Python 从 bluemix 上的消息中心上的主题获取消息。我的代码在下面找到，但有些东西不起作用。主题和消息中心已启动并正在运行，因此代码可能有些问题。

当我运行代码时，它似乎卡在msg = c.poll(). 所以我猜它要么无法连接，要么无法检索消息。凭据本身是正确的。

我正在尝试将我的 MirroMaker Kafka 0.9 连接到 Kafka Brokers 0.10 (IBM Message Hub)，但没有成功。我遵循的链接如下，但它们主要用于 Kafka 客户端 0.10：

https://console.bluemix.net/docs/services/MessageHub/messagehub050.html#kafka_using https://console.bluemix.net/docs/services/MessageHub/messagehub063.html#kafka_connect

你知道 Kafka 客户端 0.9 的步骤以及如何使用 MessageHubLoginModule 和 jaas 创建吗？

更新

经过不同的测试，该解决方案可以正常工作。

如何实现使用 kafka 代理和用户名和密码但不使用 ssl 证书的骆驼 kafka 生产者和消费者。

我的 kafka 代理配置看起来像这样