google-cloud-dataprep - 加快作业的处理时间

Question

我的食谱中有一个样本（100 行）和三个步骤；当我运行作业以将数据加载到 bigquery 的表中时；创建表需要 600 万。对于像我正在测试的一个简单过程来说，时间间隔太长了。我想了解是否有办法加快这项工作。更改一些设置，增加机器的大小，在特定时间运行作业等。

Answer 1

如果您查看 Google Cloud Platform -> Dataflow -> Your Dataprep Job，您将看到一个包含计算步骤和计算时间的工作流程图。对于复杂的流程，您可以在那里确定需要更长时间才能知道要改进什么的操作。

对于小型工作，没有太多改进可做，因为设置环境大约需要 4 分钟。您可以在右侧看到“已用时间”（实时）和时间图表，说明启动和停止工作人员需要多少时间。