问题标签 [message-hub]

我想在 Bluemix 云上运行以下服务

1. 阿帕奇卡夫卡
2. 阿帕奇风暴
3. 弹性搜索

几个问题

1. 这甚至可能吗？例如，在云上运行 Kafka 意味着什么？
2. 数据也会存储在云端吗？
3. 所有这些服务都需要 Liberty WAS 吗？
4. 是否有任何已经可用的服务？还是为了完成这些任务？

我知道这是一个广泛的问题，但我真的希望获得一些见解以了解更多信息。

当我从https://github.com/ibm-messaging/message-hub-samples运行 Kafka 本机消息中心示例代码时，出现以下异常：

缺少什么文件？

我正在使用 Node.js 创建一个应用程序，并且我对 Message Hub 客户端或库感兴趣。

Message Hub 有官方的 Node.js 客户端吗？

我正在尝试连接到消息中心服务。如果我使用 REST API，我可以连接，但是当我尝试从我的 Java 程序连接时，总是会超时

我正在使用下一个配置：

过了一会儿，错误是

我正在使用 kafka-clients 版本 0.9.0.0

有什么想法吗？

我知道目前还没有这个功能，但是将来会提供吗？

bluemix.net 上的“Message Hub (BETA) 入门”页面表明，对于 Java 生产者，“...消息必须采用以下形式：[{ "value" : string }, ...]"。

我在 Kafka 文档中找不到此格式的任何参考，当发送非该格式的文本时，该服务工作得非常好，当我尝试使用它时，消费者没有分隔多个“值”字符串——多个值只是作为单个 JSON 消息到达。

那么，是否有人对这一规定要求的起源、需求或潜在利益有一些想法？

我们观察到 Java Kafka Producer 0.9 客户端在发送小消息时性能非常差。消息不会累积到更大的请求批次中，因此每个小记录都是单独发送的。

我们的客户端配置有什么问题？还是这是其他问题？

使用 Kafka 客户端 0.9.0.0。我们在 Kafka 未发布的 9.0.1 或 9.1 固定或未解决列表中没有看到任何相关的帖子，因此我们专注于我们的客户端配置和服务器实例。

我们理解 linger.ms 应该导致客户端将记录累积到一个批次中。

我们将 linger.ms 设置为 10（也尝试了 100 和 1000），但这些并没有导致批量累积记录。对于大约 100 字节的记录大小和 16K 的请求缓冲区大小，我们预计在单个请求中发送大约 160 条消息。

尽管已经分配了一个新的 Bluemix Messaging Hub (Kafka Server 0.9) 服务实例，但客户端的跟踪似乎表明该分区可能已满。测试客户端在没有其他 I/O 的情况下循环发送多条消息。

日志显示带有可疑行的重复序列：“ Wake up the sender since topic mytopic partition 0 is full or getting a new batch ”。

因此，在我们的测试用例中，新分配的分区本质上应该是空的，那么为什么生产者客户端会得到一个新批次呢？

我们提供了以下属性文件：

Kafka 客户端显示扩展/合并的配置列表（并显示 linger.ms 设置）：

发送 100 条记录后的 Kafka 指标：

谢谢

使用 Apache Kafka Java 客户端（0.9），我正在尝试使用Kafka Producer 类向代理发送一长串记录。

异步发送方法会立即返回一段时间，然后在每次调用时开始阻塞一小段时间。大约 30 秒后，客户端开始抛出异常 ( TimeoutException )，并显示消息"Batch expired"。

什么情况会导致这个异常被抛出？

VCAP_SERVICES 的凭据（api 密钥/用户名/密码）是否可以在应用程序运行时更改？
我看到绑定到我的 node.js 应用程序的 2 个服务（消息中心和 sendgrid）在部署后不久（大约 2 小时）更改了凭据，结果我与这些服务的所有连接都失败了，因为我已经存储了凭据进入应用程序启动时的变量。以前有没有其他人发生过？这正常吗？处理这种情况的最佳方法是什么？

使用 Message Hub Kafka 界面，我发现使用 client.id 身份验证的 Bluemix 应用程序正在获得 Kafka 代理拒绝的连接。我该如何解决？