google-cloud-dataflow - 如何为滑动窗口编写单元测试？

Question

Dataflow 是否为我提供了设置第一个窗口起点的方法？或者是否有计算起点的公式？

我正在尝试为应用 SlidingWindow、GroupByKey 和 DoFn 的复合转换编写单元测试。

我的窗户将是

[To + i * period, To + i * period + duration)

其中 To 是第一个窗口的开始， period 是窗口的周期，duration 是窗口的持续时间。

因此，在不知道 To 的情况下，我无法预先计算输出中的预期值并将它们传递给 DataflowAssert 以验证结果。

Answer 1

一种解决方法是不使用 DataflowAssert。我可以向我的测试管道添加两个转换 1) 一个将时间窗口边界附加到每个数据点，2) 一个将数据点写入临时文件。

管道运行后，我可以通过读取临时文件来实现结果。由于数据点标有每个窗口的最终值，我可以计算出预期值应该是什么。