bigtable - 为什么 BigtableIO 在 GroupBy/Combine DoFn 之后会一一写入记录？

Question

有人知道捆绑包在 BigtableIO 中是如何工作的吗？GroupBy在使用或CombineDoFn之前，一切看起来都很好。此时，管道会将我们PCollection元素的窗格从更改PaneInfo.NO_FIRING为PaneInfo{isFirst=true, isLast=true, timing=ON_TIME, index=0, onTimeIndex=0}，然后BigtableIO将输出以下日志INFO o.a.b.sdk.io.gcp.bigtable.BigtableIO - Wrote 1 records。当有数百万条记录要输出时，日志记录是否会导致性能问题，或者是否BigtableIO为每条记录打开和关闭写入器？

Answer 1

BigtableIO 在批处理 RPC 中发送多条记录。但是，这假设在“捆绑包”中发送了多条记录。捆绑包大小取决于前面的步骤和数据流框架的组合。您看到的问题似乎与BigtableIO直接相关。

FWIW，这里是记录方法中出现的记录数的代码finishBundle()。