3

大师 - 我是 Apache Beam 的新手,正在尝试实施,这似乎是一个非常简单的用例。我有股票数据,我需要找到过去 10 次交易中股票的滚动平均价格。

现在由于没有固定的持续时间可以发生 10 个事务(有时可能是几毫秒,有时可能是几秒),我认为我不能使用基于时间的窗口。我有两个问题:

  1. 这是 Beam 的有效用例还是我在这里遗漏了一点?
  2. 是否有一种相当简单/合法/非hack的方式来编写一个可以根据记录数窗口数据的窗口函数/类(在python sdk中)?

我已经看到了在记录上伪造时间戳数据的建议,这样每个到达的记录看起来就像是相隔一秒创建的,但我发现这有两个问题:

一个。这确实是一个 hack 解决方案,它似乎不适合像梁这样的东西,它应该是如此强大和优雅的架构

湾。如果您首先要通过使用程序顺序添加假时间戳来扼杀性能,那么使用高性能 Beam 管道(无服务器)有什么意义?

想知道 Beam 中的窗口是否可能是一个更优雅的解决方案

4

0 回答 0