问题标签 [apache-pulsar]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
283 浏览

apache-pulsar - 错误没有这样的文件或目录:_pulsar.so

pulsar-client通过运行以下步骤安装 python 时

遇到错误

没有这样的文件或目录:_pulsar.so

0 投票
1 回答
225 浏览

apache-pulsar - Pulsar 如何在账本中存储多个主题的消息?

Pulsar 使用 bookkeeper 作为后端存储,将 topic 元数据存储在managed-ledgers/$namespace/persistentzookeeper 路径中。

在簿记员方面,数据存储在/data/bookkeeper/ledgers/current路径下。日志文件名不反映与主题分区的关系。我想知道 BookKeeper 如何存储多个主题的消息,以及如何查找消息并将其传递给消费者。

0 投票
1 回答
126 浏览

apache-pulsar - 用于检查主题分区的命令行工具-> Pulsar 中的 bookie 分类帐映射?

有没有命令行工具可以告诉 Pulsar 主题分区和 bookie 账本之间的映射关系?zookeeper 中存储的数据是二进制的,不能直接读取。

0 投票
1 回答
349 浏览

apache-pulsar - 我们是否应该担心 Pulsar 主题中的捆绑包过多?

我们在 Pulsar 集群中观察到以下警告。我们要关心它吗?

0 投票
0 回答
168 浏览

apache-flink - 用 pulsar 和 flink 端到端交付恰好一次

我正在尝试将 flink 与脉冲星一起使用。脉冲星将充当源和汇。我正在为此解决方案寻找一次性交付保证。

我已经阅读了关于使用 kafka 实现 flink 两阶段提交的信息,但我找不到 pulsar 的等价物。 https://flink.apache.org/features/2018/03/01/end-to-end-exactly-once-apache-flink.html

我还查看了 flink 的脉冲星生产者,它不支持完全一次保证。

https://github.com/apache/pulsar/blob/master/pulsar-flink/src/main/java/org/apache/flink/streaming/connectors/pulsar/PulsarProduceMode.java

我将不胜感激有关如何使用 pulsar flink 组合实现端到端精确交付的任何指示。

0 投票
1 回答
166 浏览

python - 填充仅支持 kwargs 进行初始化的嵌套对象?

我有一些带有 Record 类的 python 库。Record 类仅使用kwargs. 我像这样填充记录,它工作正常:

该库还支持这样的嵌套记录:

但是,当我尝试填充:

它失败了,因为子记录不接收color=red而是接收{'color': 'red'}

所以我需要一种“递归**”?

0 投票
1 回答
151 浏览

debezium - 如何在rest api中添加/删除Pulsar中的连接器?

我正在使用支持 Debezium 源连接器的 Pulsar IO 从您的数据库中获取流更改。

从文档中,很清楚如何连接到 MYSQL,

监控连接器

但是我看不到如何移除 Pulsar 中的连接器?

以及用于添加/删除连接器的任何其他 API?

0 投票
2 回答
587 浏览

java - 无法为 Pulsar 设置 Zookeeper 集群

我正在尝试为 Pulsar 建立一个 Zookeeper 集群。我正在按照此处的说明进行操作,但我一直失败。

在我的设置中,我有两个节点,它们应该是集群的一部分。由于我需要将 bookie 部署到相同的节点,所以我执行了

启动动物园管理员。之后,我尝试使用以下命令初始化集群:

但我不断收到此错误:

我在这里读到我需要有奇数个节点,所以我在其中一个节点上添加了一个虚拟机。当我在其上启动 Zookeeper 时,它不会打印错误消息,而是显示:

然而 Zookeeper 服务没有启动,即使设置与它的主机非常相似,我无法弥补原因。

有什么想法我可以从这里开始吗?提前致谢!

0 投票
1 回答
265 浏览

apache-pulsar - 如何缩小 pulsar BookKeeper 集群

问题

一个月前我在 pulsar 中添加了 2 个 bookie,但我意识到这是一种资源浪费。我怎样才能将博彩公司从 7 个缩小到 3 个。

我的努力

通过 bookkeeper 的文档,我发现 autorecover 会在 bookie 崩溃时将 BookKeeper 集群中的所有分类帐恢复到完全复制状态。但是如果我一次关闭四本书,我认为一些分类帐可能会永远丢失。

所以我想我可以一个一个地关闭它,但是我怎么知道恢复完成了?

0 投票
0 回答
104 浏览

java - Apache Pulsar,无法从 getCounter() 读取值,但可以读取其他状态值

Apache Pulsar 函数无法将计数器值读取为context.getCounter().

使用本地机器、单一功能进行测试,并从 CLI 运行测试器生产者和消费者。函数正在读取订阅并打印它的函数名称(来自上下文),所以它似乎只是在访问计数器值时遇到了问题。

(CLI 命令都在同一个 AWS ec2 上)

(消费者)

(制片人)

每次发送消息时,函数应将键“ABC”的计数器增加 1,随后getCounter()应返回该值(即 1... 然后 2.... 然后 3... 生产者发送的每条消息)。

编辑:终止我的 AWS 实例并重新创建我的集群解决了这个问题,所以它似乎与配置相关。