我有一个 Apache Beam 管道,可以加载大约 90GB 的大型导入文件。我已经在 Apache Beam Java SDK 中编写了管道。
使用 的默认设置PipelineOptionsFactory
,我的工作需要很长时间才能完成。
我如何控制并以编程方式指定我的工作的并行度,从而指定工人的数量?
我有一个 Apache Beam 管道,可以加载大约 90GB 的大型导入文件。我已经在 Apache Beam Java SDK 中编写了管道。
使用 的默认设置PipelineOptionsFactory
,我的工作需要很长时间才能完成。
我如何控制并以编程方式指定我的工作的并行度,从而指定工人的数量?