0

我想重申我的问题,我将笔记本移动到与计算引擎相同的区域,这在理论上什么也没做,因为我的 kfp.dsl ContainerOp 在被要求运行时会启动一个新的计算引擎。

我的问题变成了这个;

我有一个名为 get_data 的 kfp 组件,它试图从谷歌存储中读取 37 GB 的数据并进行简单的转换,然后在特征选择后输出数据帧。

在使用资源集 af set_cpu_limit 32, set_memory_limit 100G 运行我的 ContainerOp 时,我经常出现内存不足,这会启动具有 n1-standard-32 规格的机器。

根据 GCP,这台机器有 120G 内存,足以完成这项工作,有人知道在运行组件时如何扩展这些中间机器吗?

我的管道 ContainerOp 调用如下;

在此处输入图像描述

4

0 回答 0