问题标签 [pulsar]

请帮助我，我需要对消息率在 1000000 以上的 pulsar 服务进行性能测试，有什么测试工具可以做吗？

我正在尝试使用Admin API更新“JSON”类型的 Pulsar 模式。

我有一个具有单个模式版本的 pulsar 命名空间“lol”和主题“sdf” 主题模式版本列表

我尝试通过发布另一个 JSON 架构来更新此架构，但收到 500 错误。 发布请求和响应

Pulsar 日志文件为空。Pulsar 堆栈跟踪没有任何信息。

当我尝试以相同的方式更新“AVRO”类型的架构时，一切正常，架构版本上升。

任何人都可以帮助找到这种奇怪行为的原因吗？

这是请求正文

这是当前架构定义“GET /admin/v2/schemas/public/lol/sdf/schema”

Pulsar Standalone 没有启动，我收到这样的错误。

也许有人知道如何解决它？

我注意到，当我关闭我的电脑并在晚上打开它并尝试独立启动 pulsar 时会发生这种情况。

我还为我的一个命名空间设置了保留。直到那时我才注意到这个问题。

要启动 pulsar，我需要删除所有数据文件夹，然后它才会启动。

更新：使一些测试 pulsar 2.7.2 没有这个问题，无法重现相同的异常。

同样在搜索解决方案时发现 2.8.0 需要更改（单击此处）

但在 2.7.2 中它已经是错误的，但不确定它是否与某些方式相关。

我是 Apache Pulsar 的新手，但我正在尝试使用 Pulsar-Functions 来处理有关某个主题的现有消息。似乎这些函数仅用于流式传输，因此它们只会在新消息到达输入主题时触发。不过，我还是想确认一下。

谢谢！

对于pulsar bookeeper来说，路径下的/bookkeeper/ledgers/current/*.log日志文件只是日志文件还是用来存储消息的？

如果我删除日志文件，它会丢失消息吗？

我目前正在尝试使用 Helm 将 Pulsar 安装到 Minikube 集群上。一切似乎都正确安装，但 pod 没有在正确的命名空间下注册。我正在运行以下脚本将 Pulsar 安装到 Minikube 上：

相反，Pod 显示在默认命名空间下。运行查询以获取 Pulsar 命名空间下的 pod 会产生以下结果：

然而，在对所有 Pod 进行通用查询时，我能够看到所有已安装的 Pod：

在 docker 中作为独立运行 Pulsar 时，在特定情况下反序列化消息时，我们会遇到这个奇怪的问题。我们使用的是 2.7.1 版本。

我们有一个创建主题和函数的脚本，然后为 JSON 类型的麻烦主题创建模式。整个架构是正确的，但类型不正确。这都是在发送任何消息之前。我们还启用了set-is-allow-auto-update-schema.

我们称之为它trouble-topic，它由 2 个来源填充：ValidationFunction和一个 Spring Boot 微服务。

ValidationFunction验证消息，如果消息有效，它将映射消息发送到 Spring Boot 微服务使用的主题，然后对其执行一些逻辑并将其发送到trouble-topic，但如果验证失败，则直接将消息发送到trouble-topic。

当sendAsync从 Spring Boot 微服务与以下生产者一起使用时，模式得到更新，将 AVRO 作为一种类型，然后TroubleFunction读取trouble-topic工作正常：

但是如果在此之前有些消息没有通过验证，并且在使用上面的 Producer 之前直接发送消息trouble-topic，我们就会得到一个解析异常。我们通过以下方式从函数发送消息：

由于某种原因，这不会更新架构类型，并且架构类型仍然是 JSON。我使用 pulsar admin CLI 验证了每个步骤的模式类型。当这种情况发生在微服务生产者第一次更新模式类型之前，TroubleFunction读取trouble-topic失败并出现以下错误：

所以我的问题是这两者有什么区别，为什么从函数发送消息不能正确更新模式类型？不是在下面使用同一个 Producer 吗？还有一种方法可以解决这个问题，以便在初始化时设置模式类型，或者至少在从函数发送消息时更新模式类型？

为什么当我尝试在我的命令“yarn install”中运行时出现错误我无法在 Windows 中安装 pulsar-client

我阅读了 pulsar 文档和一些关于 pulsar 如何处理非活动主题的 stackoverflow。pulsar 会在主题内的所有消息消费完并超过保留期后，自动删除不活跃的主题。我有一个场景，脉冲星主题用于从代理收集日志，并且该主题是预先创建的，并且必须保留（或至少一年），以便代理可以知道它并直接发送数据。来自这篇文章：如何避免在 Apache Pulsar 中自动删除非活动主题，有两种不同的方法来保留非活动主题

1. 设置保留策略将数据保留至少 X 小时（直到 Y GB）

缺点是我不想将消息保留一年，这对于日志收集系统来说是不可能的，即使有可能也会付出巨大的代价 2. 在 conf/broker.conf 中手动设置 brokerDeleteInactiveTopicsEnabled=false 可以禁用删除非活动主题也是。这将永远保持不活跃的主题。很难跟踪这么多主题（预计数百万级别）并手动清理它们。对于动物园管理员来说，永远保留所有这些元数据可能会成为一个问题。

任何建议表示赞赏

是否可以重播旧消息（在保留期内）？没有关于它的文档。我想根据时间戳或时间段来执行此操作。

对正确方向的提示将不胜感激。