问题标签 [apache-storm-configs]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-storm - Apache Storm 2.1.0 内存相关配置
我们正在从 1.1.x 迁移到 2.1.0。
在我们当前的设置中，storm.yaml 中有以下内存配置
我在https://github.com/apache/storm/blob/master/conf/defaults.yaml中看到了许多其他与内存相关的配置，并且对它们有以下问题。
- worker.childopts和topology.worker.childopts有什么区别？如果我们在storm.yaml 中设置worker.childopts，我们还需要覆盖topology.worker.childopts吗？
- 如果我们在storm.yaml中设置worker.childopts，我们还需要覆盖worker.heap.memory.mb吗？这两个配置之间有关系吗？
- 应该topology.component.resources.onheap.memory.mb < worker.childopts吗？我们应该如何确定topology.component.resources.onheap.memory.mb的值？
感谢有人能解释这些观点。
apache-storm - 关于 StormCrawler 中并行的效果
我目前正在开发一个基于 Storm Crawler 的项目。我们有固定和有限的带宽来从网络上获取页面。对于拓扑中的不同 Bolt，我们有 8 个具有较大并行提示值的工作人员（即 50）。为获取页面创建了很多线程。项目中增加的 fetch_error 数量和增加 parallelism_hint 之间有什么关系吗？如何确定 Storm Crawler 中 parallelism_hint 的良好值？
apache-storm - 在 Apache Storm 中的 python bolt 中勾选元组
我想在 Apache Storm 的 python shell bolt 中使用刻度元组。有没有办法做到这一点？我的拓扑结构的主要部分是用 java 编写的，其中有一个 python bolt。
java - Storm Bolt 确认元组，但 Spout 以很大的延迟使它们失败
我有一个非常简单的拓扑结构。Spout -> Bolt 就是这样。但是每次我得到这张照片的时间：Storm UI。并且不知道为什么它会发生。Bolt 处理所有元组，但 spout 失败。每个 bolt 有 3 个执行器，每个 spout 有 3 个执行器，以及 3 个 Kafka 分区。我已经像这里的答案一样添加了这个配置（Storm Bolts acking but spout is failed），但它没有帮助，与那个例子不同，我没有在我的结构中没有被某个螺栓确认的元组：
也许还有一些其他重要的 spout 配置可以帮助解决它或需要注意的指标？Storm 的版本是 2.3.0。
apache-storm - Apache Storm 元组在 10 分钟后超时，但 topology.message.timeout.secs 配置为 5 分钟
我们有一个 topology.message.timeout.secs = 300 秒的拓扑。最近，我们遇到了一个问题，即 spout 后的第一个 bolt 的容量达到了 ~2。bolt 开始处理元组的速度非常慢（它在 spout 发出元组 5 分钟后开始处理元组）。几分钟后，spout 发出元组，但在 bolt 开始处理之前，元组超时。
奇怪的是元组失败与发出之间的时间差是 10 分钟。
预期元组应该在 5 分钟后失败（配置为 300 秒）。
关于为什么没有真正考虑配置超时的任何想法/信息都会非常有帮助。是否有任何其他配置会影响元组超时？
apache-storm - 双 Nimbus 设置时 Apache Storm Nimbus 容错发生变化。(2.2.0)
根据 Storm文档，守护进程故障不应影响主管中的工作进程。
当单个 nimbus 被杀死时，这适用于我的拓扑（在 2.2.0 版上）。主管继续处理。（但是，一个新启动的 nimbus 容器（由 docker swarm）之后不会自动成为新的 nimbus。）
使用 2 个 nimbus 容器（在 swarm 集群中将 nimbus 服务的复制设置为 2 个）：杀死领导者 nimbus 容器会导致运行拓扑中的异常和崩溃。另一个 nimbus 容器成功成为新的领导者，并且自动重新启动的其他 nimbus 容器现在也在 STORM UI 中列出。
你们知道为什么使用 2 个 nimbus 节点会改变杀死单个节点对运行拓扑的影响吗？
风暴.yml：
Nimbus 种子设置为 nimbus 服务 (nimbus) 的名称，拓扑的最小复制因子为 2
非常感谢
apache-storm - 如何设置 Apache Storm (2.2.1) worker 内存限制？
我将 Apache Storm 从 1.1.1 更新到 2.2.1，使用相同的配置和拓扑。但是 2.2.1 不能启动工作进程。这是我的配置：
以及 nimbus.log 中的日志：
我发现主管在启动工作进程时给出了参数“-Dworker.memory_limit_mb=24448”，但它与我的 worker.childopts 设置不匹配。
此拓扑有 7600 个执行器/任务，运行在 40 个插槽上，因此每个插槽需要运行 380 个执行器/任务。在 v1.1.1 中，一切正常，但在 v2.2.1 中，似乎没有配置限制每个工作人员的内存，工作人员将分配 executors* topology.component.resources.onheap.memory.mb(default 128)。
如何在 Apache Storm (2.2.1) 中设置工作内存限制或关闭 Resource Aware Scheduler ？