2

我想用 Storm 计算由 [int id,int value] 组成的传入元组的平均值。如您所见,我无法使用字段分组对数据进行分区。我需要一个拓扑架构来分配这个计算,我想到的唯一方法是在每个螺栓实例中做小批量,然后聚合。

我有点理解 trident 是在 Storm 中进行小批量处理的合适解决方案。

当您无法根据属性对数据进行分区时,使用类似风暴的均值、全局计数、std-devs 计算全局分析的最佳实践是什么?任何拓扑示例?

4

1 回答 1

2

您可以轻松计算流统计数据,例如使用Trident-ML计算的平均值、标准差和计数。自述文件中有一节解释了如何在三叉戟拓扑中计算这些统计信息。

希望能帮助到你。

于 2013-09-05T08:50:25.693 回答