google-bigquery - Google DataPrep 非常慢

Question

在 Google Dataflow 中，我的工作基本上是这样的：

数据集：100 行，1 列。
配方：0 步骤
输出：新表。

但是运行需要6-8分钟。可能是什么问题？

Answer 1

通常时间以分钟为单位，而不是 Dataprep/数据流设置的秒数。这些解决方案适用于大型数据集，即使您有 10 倍的大小，持续时间也保持不变。

DataPrep 为您创建一个 DataFlow 工作流，并为您预置一些虚拟机，这需要时间，通常该阶段可能会在几分钟之内。稍后才将其扩展到 50 或 1000 个盒子。