我正在创建一个将 CSV 导入 BQ 的数据准备流程。这工作正常,但需要很长时间。即使对于非常小的文件。有没有办法在工作中增加更多的工人?maxNumWorkers 默认始终为 1。
克里斯
我正在创建一个将 CSV 导入 BQ 的数据准备流程。这工作正常,但需要很长时间。即使对于非常小的文件。有没有办法在工作中增加更多的工人?maxNumWorkers 默认始终为 1。
克里斯
Dataprep 首次执行 Dataflow 作业时,设置将是默认设置。但是,您可以使用其模板直接从 Dataflow 重新运行具有不同参数的这些作业。例如,您可以使用REST API并使用该numWorkers
字段来指定执行作业的工作人员,由于未指定,服务将尝试选择合理的默认值。有关 REST API 的更多信息,您可以查看此文档。
请记住,它有局限性