publish-subscribe - 如何自动缩放谷歌数据流（流）管道？

Question

我们在 Google Dataflow 中运行流式传输管道。它提取 Pub/Sub 消息并保存到 BigQuery。出于某种原因，在过去的几天里，我们有积压。系统延迟显示 9-15 小时。我在这里关注文档，并添加了以下参数：

--autoscaling_algorithm=THROUGHPUT_BASED
--max_num_workers=5

然而，它似乎并没有产生新的管道。我们有拉 Pub/Sub。