问题标签 [node-kafka-streams]

我有一个 HTTP2 应用程序，它创建一个新的 Kafka 流生产者，并在接收来自传入流的消息时向其发送消息。

第一次连接并正常运行。在随后的流中，它会失败而不会引发任何类型的错误。

这就是我的做法：

有没有人知道什么可能是错的？

我有一个 Kafka 生产者和消费者。

制作人这样做：

消费者这样做：

现在，在生产者方面，返回消息始终记录为正确的字符串，一切都很好。但在消费者方面，首先，message.value 是一个正确的字符串，可以从中解析 JSON，但在后续请求中，它会遇到“[object Object]”。如果

我觉得我在这里遗漏了一些重要的东西……如果您有任何见解，请提供帮助。

环境信息：

• 操作系统 [例如 Mac、Arch、Windows 10]：Windows10

• 节点版本 [例如 8.2.1]:10.4.1

• NPM 版本 [例如 5.4.2]:6.4.1

• node-rdkafka 版本 [eg 2.3.3]:2.5.1

重现步骤

node-rdkafka 配置设置：

附加上下文：

kafka 生产者启用了 SSL。当尝试在元数据中没有安全和 SSL 配置的情况下连接代理时，它会抛出Error:timeout. 因此，继续添加用于启用 ssl 的配置，并在配置中添加 SSL 证书和密钥的路径，如上所述，但这不起作用，或者抛出我无法理解的错误是错误：

连接到生产者时出错：错误：ssl.certificate.location failed: .\ssl\ssl_rsa.c:701: error:140DC002:SSL routines:SSL_CTX_use_certificate_chain_file:system lib:

我正在尝试使用 npm 包kafka-streams但出现以下错误：

尝试了几件事：
1.安装了 windows-build-tools
2.安装了 python (2.7.16)
3.更新了节点 (v12.7.0)
4.安装了 Visual C++ 构建工具。

正如 Matt 所建议的，我也安装了 Visual C++ Build 工具。现在我遇到以下错误：

更新：1
最后，我已经能够成功构建 node-gyp：

但是仍然在尝试安装 kafka-stream 时出现以下错误

似乎 Kafka-streams 它试图使用 node-gyp 版本（v3.8.0），但我有

有什么办法可以让 kafka-streams 使用 node-gyp 版本（v5.0.3）

更新：2

做了一些更改，现在当我运行npm i kafka-streams它时，现在尝试获取 node-gyp v5.0.3。仍然失败：

我有一个 Kafka Streams 应用程序，它从主题“A”使用 10 个分区，每秒大约 10k 条消息。我对什么对我的应用程序更好感到困惑。

我有多个在同一台机器上运行的具有相同 application.id 的 Kafka Streams 实例。

那么我可以为每个实例使用相同的 state.dir 还是使用不同的 state.dir

我在某处读到它可以锁定全局状态目录，如果我使用相同的 state.dir 并且所有实例都在同一台机器上运行

我有两个不同的 kafka 主题，其中有相同的字段ID。当流在这两个主题上接收到相同的 id 时，是否可以监听这两个主题并向第三个主题写入新消息？

我有一个流，它将消息映射到两个不同的 map() 调用，并进一步被过滤并写入两个不同的主题。

有没有办法可以并行运行 stream.map(logc1OnData)... 和 stream.map(logic2OnData) ？看起来他们一个接一个地运行，即第一个映射被执行并写入topic1，然后第二个映射被执行并写入topic2 FYI ..我不想要num.threads.count，因为我的流输入来自单个主题和我正在运行同一应用程序的多个实例以从源主题主题中读取，以在使用时实现并行性。

我正在寻找的是在执行和写入不同主题时的并行性

在节点服务器中启动应用程序的特定时间后，将 kafka 与节点集成时遇到以下问题。

kafka 服务器没有任何登录，并且它已启动并正在运行。

如何在 Node.js 中发送 http/2 发布请求？我想发送以下请求。