问题标签 [kafkajs]

问问题

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

82 问题
Newest
Active
Bountied
318
Unanswered
0 投票
1 回答
1967 浏览

docker - NodeJS：KafkaJSProtocolError：组成员支持的协议与现有成员的协议不兼容

我正在尝试使用 MongoDB debezium 连接器从 Kafka 捕获数据，但是当我尝试使用 KafkaJS 读取数据时出现错误：

我正在使用 docker 图像来捕获数据。

以下是步骤，我正在关注：

  1. 启动 Zookeeper

    /li>

  2. 启动卡夫卡

    /li>

  3. 我已经在复制模式下运行了 MongoDB

  4. 启动 debezium Kafka 连接

    /li>

  5. 然后发布 MongoDB 连接器配置

    /li>

  6. 有了这个，如果我运行一个观察者 docker 容器，我可以在控制台中以 Json 格式数据

    /li>

但我想在应用程序中捕获这些数据，以便我可以对其进行操作、处理并推送到 ElasticSearch。为此我正在使用

但是当我运行消费者代码时，我得到了错误。这是代码示例

0 投票
0 回答
791 浏览

node.js - 有没有办法在 kafkajs 中执行生产者并在没有 process.exit() 的情况下退出函数？

我正在使用 kafka 的 nodejs 中设置服务器。为了做到这一点，我正在使用 kafkaJS。这里的问题是，我不希望每次有人发送帖子或从 kafka 读取值时服务器都会断电。

到目前为止，我已经尝试过这个来读取数据

这是创建数据

此代码运行良好，但需要放下它才能退出该方法。我想要一个解决方案，我可以杀死正在执行 kafka 接口的进程/线程或定期退出该方法。

任何帮助表示赞赏。

0 投票
0 回答
762 浏览

apache-kafka - 这个 kafka 错误在共享集群设置上意味着什么以及如何解决这个问题？

一段时间以来，我一直在使用共享集群设置来测试CloudKarafka上的一些东西。直到昨天我开始收到此错误消息时，它才给我带来任何问题。

我正在将 npm 模块 kafkajs 用于最近没有配置更改的节点应用程序。我的共享实例有问题吗？任何尝试的建议。

谢谢！

0 投票
2 回答
307 浏览

node.js - OpenShift - 无法从 KafkaJS 连接 Strimzi

我在 OpenShift 上成功设置了 Strimzi Kafka 集群。我可以看到以下服务：

  • kafka-brokers
  • kafka-bootstrap
  • zookeeper-client
  • zookeeper-nodes

这实际上与这里所说的不同；所以，不确定这是否是 Strimzi 安装问题。我从这里按照安装步骤操作。

kafka-bootstrap我为kafka-brokers端口9092（非 TLS 客户端）创建了一个路由。在这两种情况下，ECONNREFUSED当我提供路由值时都会出现错误（例如my-cluster-myproject.192.168.99.100.nip.io:9092，在kafkajs的示例中。

如何将kafkajs包连接到 Strimzi 集群？

0 投票
1 回答
223 浏览

kafkajs - 用于 kafka 消费者应用程序的 kafkajs 代码中的意外令牌

Nodejs 版本：4.4.7 NPM 版本：2.15.8

我正在运行以下代码，该代码是从以下 URL 复制而来的

https://kafka.js.org/docs/getting-started

上面的代码保存在“simpleapp”文件夹下的“apps.js”文件中。除此之外，我还安装了以下

当我运行 app.js 文件时，出现以下错误

问题是什么？

0 投票
1 回答
9944 浏览

node.js - 无法使用 kafkajs 连接到种子代理

我正在尝试使用kafkajs以创建卡夫卡消费者。但是，连接到 kafka 时我已经收到错误：

这是我正在使用的代码：

有谁知道为什么会发生此错误或如何解决它？

0 投票
1 回答
2019 浏览

node.js - KafkaJS 生产者 ssl 证书

我正在使用 KafkaJS 编写 NodeJS Kafka 生产者，并且无法理解如何获取所需的 SSL 证书以便使用 SASL-SSL 连接连接到 Kafka。在 KafkaJS 文档中，SSL 有以下配置：

我有问题，因为我不知道我应该如何/提供什么证书给它。

我需要提供所有三个道具（ca、key 和 cert）吗？如果是这样如何获得它们？我们已经像这样配置了 Kafka集群 。我对这一切只有一点了解。

0 投票
1 回答
1230 浏览

javascript - 为什么我的 kafkajs 客户端（Node.js/express.js）在获取主题元数据时抛出“TypeError：topics.forEach 不是函数”？

我正在尝试使用 kafkajs 管理客户端获取我的 kafka 经纪人的主题元数据。我已经用 Node.js + express.js 编写了我的服务器。

这是我的index.js文件，它是 npm 的入口点。

这是一个create-admin-client.js文件，它检索管理对象。

这是topics-metadata-fetch.js获取主题元数据的文件。

每当我发送 POST 请求以获取主题的元数据时（例如“SERVICE-TYPES”，我已成功创建主题），使用req.bodyas

它返回一个TypeError: topics.forEach is not a function错误。我哪里做错了？

0 投票
1 回答
2630 浏览

node.js - 如何在 Express.js 中写入 res.write() 之后、res.end() 之前将数据刷新到客户端？

我已经使用 Kafkajs 创建了一个 Apache Kafka 客户端，并且我正在尝试从 Kafka 中的某个主题中读取消息。如果我 console.log(message) 工作正常。但是我想每当在主题中产生/写入新消息时向客户端发送消息，消费者正在收听来自生产者的消息，同时保持连接处于活动状态。

但是在我将数据发送到 express.js 服务器后， res.write() 不会将数据发送到客户端（我使用 Postman 作为我的 Node.js 客户端）。如何在调用 res.end() 之前刷新 res.write() 中写入的数据？

0 投票
1 回答
797 浏览

node.js - 如何暂停 Nest.js Kafka 消费者

我在 Nest.js 项目中使用 Kafka.js。这就是我初始化 KafkaClient 的方式：

现在我将 KafkaClient 注入到我的控制器中，并且我希望使用间隔的消息。虽然有一种方法可以使用 Kafka.js 来做到这一点，但consumer.pause()我在 KafkaClient 中找不到对此类选项的任何引用。

有没有办法通过暂停或限制消费者来做到这一点？


12345678910