我有一个从 PubSubIO 读取的云流管道，其中“PipelineOptions”设置为“WorkerMachineType = n1-standard-1”。这台机器有3.75GB的内存。
我的问题是，如果订阅有很多消息，管道读取速度非常快，当开始处理许多元素时，它没有足够的内存。
有什么形式可以减少每秒读取的消息数量吗？还是内存消耗与分配给窗口的持续时间有关，我会减少这个持续时间？
谢谢是提前。
问问题
129 次
1 回答
1
听起来您可能正试图用太少的工人来处理太多的数据。我们正在考虑解决此问题和相关情况，但与此同时，您可能希望尝试减少您正在摄取的数据量，或增加可用于工作的工人数量。
您还可以使用n1-standard-4机器获得更好的性能，这就是为什么我们将它们设置为流运行程序的默认值。
于 2015-06-22T23:33:18.413 回答