python - 在 python apache Beam 中，是否可以按特定顺序编写元素？

Question

我正在使用梁在重叠窗口上处理时间序列数据。在我的管道结束时，我将每个元素写入一个文件。每个元素代表一个 csv 行，其中一个字段是关联窗口的时间戳。我想按该时间戳的顺序编写元素。有没有办法使用 python 梁库来做到这一点？

Answer 1

虽然这不是基本分布的一部分，但您可以通过处理这些元素并将它们作为全局窗口的一部分进行排序，然后再写入文件来实现，但需要注意以下几点：

• 窗口的全部内容需要适合内存，或者您需要将文件分块到较小的全局窗口中。
• 如果您正在执行第二个选项，则需要制定一个策略来将较小的窗口写入文件。