问题标签 [apache-storm]

我一直在尝试为我当前的项目记录所有 Storm 指标的含义。

在这个过程中，我从这个小组的回复以及 github 中收集了数据。

虽然有些指标很容易解释，但我对一些螺栓指标感到非常困惑。

例如，进程延迟和执行延迟有什么区别？

从这个谷歌组的帖子中，我收集了以下信息：

• 列表项处理延迟 = 调用 ack 时的时间戳 - 传递执行时的时间戳 tuple

• 列表项执行延迟 = 执行函数结束时的时间戳 - 传递元组时的时间戳（来源：http: //goo.gl/3KRAl）

和

• 列表项进程延迟是元组被确认之前的时间，执行延迟是执行元组所花费的时间（来源：http: //goo.gl/m0fTC）

根据我在 Storm UI 中看到的情况，我的执行延迟几乎总是大于进程延迟。怎么可能？谁能帮我准确定义这两种延迟？

提前致谢！

我的数据看起来像每帧 1000 万个数值（实数 + 二进制）（想想数组，即数组的一行中有 1000 万个元素），大约有 100 帧/秒。一种时间序列。

对我来说挑战是：

(1) 存储——数据量

(2) 处理数据的速度

(3) 实时分析

Cassandra适合这个吗？任何人都可以指导我一些应用程序架构（想想 hadoop、cassandra、kafka、storm 等），这将在上述场景中发挥作用（从非常高的角度来看）。

我知道我问了一些大问题。在实验之前我需要一个方向。

在风暴文档中提到，风暴重播处理已超时的元组。我的问题是，风暴是否自动执行此操作（无需在源喷口上调用 fail()），或者这是否是源喷口重播元组的责任（调用 fail() 并且重播应该在内部甚至外部某个地方实现)?

这是关于用 Java 编写的 Storm 拓扑中的单元测试 Bolt 和 Spout 的一般问题。

单元测试（JUnit？） Bolts和Spouts的推荐实践和指南是什么？

例如，我可以为 a 编写 JUnit 测试Bolt，但在不完全理解框架（如 a 的生命周期Bolt）和序列化含义的情况下，很容易犯基于构造函数创建不可序列化成员变量的错误。在 JUnit 中，这个测试会通过，但在拓扑中，它不会工作。我完全想象有许多测试点需要考虑（例如这个带有序列化和生命周期的示例）。

因此，如果您使用基于 JUnit 的单元测试，是否建议您运行一个小型模拟拓扑（ ？）并测试该拓扑下（或）LocalMode的隐含合同？或者，使用 JUnit 是否可以，但这意味着我们必须仔细模拟 Bolt 的生命周期（创建、调用、模拟 a等）？在这种情况下，被测类（Bolt/Spout）需要考虑哪些一般测试点？BoltSpoutprepare()Config

在创建适当的单元测试方面，其他开发人员做了什么？

我注意到有一个拓扑测试 API（参见：https ://github.com/xumingming/storm-lib/blob/master/src/jvm/storm/TestingApiDemo.java ）。使用某些 API 并为每个人Bolt&支持“测试拓扑” Spout（并验证 Bolt 必须提供的隐式合约，例如 - 它是声明的输出）会更好吗？

谢谢

我正在尝试执行风暴，实际上数据是从某个端口发出的，使用我正在监听的风暴喷口程序，（即）实现 SerialPortEventListener 我收到错误

在我的Storm拓扑中，在处理流时，我想将一些消息的处理延迟到未来的某个时间点。这样做有哪些合理的选择？

到目前为止，我想到了以下几点：

• 使用 Java 的Thread.sleep. （然而，根据一些讨论，这不是有效利用 Storm 资源的推荐方式。）
• 使用延迟队列...
  • 特别是，尝试java.util.concurrent.DelayQueue。
  • 还有其他值得尝试的实现吗？
• Storm 是否有一些 API 用于延迟我忽略的消息？
• ZeroMQ 是否提供了 Storm（如果已修改）可以利用的延迟消息传递 API？

我第一次使用 Storm（从 Storm 入门中学习），我的项目在运行时失败并出现 ClassNotFoundException：

这些是 TopologyMain 和 pom 文件：

起居室：

我对风暴不太了解，这是针对学校项目的，所以请帮忙

我正在运行storm starter项目（https://github.com/nathanmarz/storm-starter），运行一段时间后它会抛出以下错误。

我曾尝试更改“AppData”目录的权限，但这似乎不影响它。这个错误出现在命令行以及在 Eclipse 中运行它。

我正在研究 Spark（伯克利）集群计算系统。在我的研究中，我了解了其他一些内存系统，如 Redis、Memcachedb 等。如果有人能给我比较 SPARK 和 REDIS（以及 MEMCACHEDB），那就太好了。在哪些情况下，Spark 比这些其他内存系统更有优势？

我想在我的风暴拓扑中为 Scala 集合注册序列化程序。为此，我正在使用 twitter chill KryoSerializer。

我正在做的是
1. 创建了一个实现 IKryoDecorator 的装饰器。在装饰方法中，我调用 KryoSerializer.registerAll(k)，其中 k 是 Kyro 实例
2。在拓扑配置对象中，我调用 registerDecorator 方法。

接着

仍然当我运行拓扑时，我得到异常说明“类未注册：scala.collection.immutable.Map$Map3”

Storm 版本 0.8.2 Chill 版本 0.2.3