apache-spark - pyspark ml模型的顶点ai自定义模型训练

Question

是否可以使用 VertexAI 自定义容器模型构建来训练 spark/pyspark ML lib 模型？我在顶点 ai 文档中找不到关于火花模型训练的任何参考资料。对于分布式处理模型构建，唯一可用的选项是 PyTorch 或 TensorFlow。

Answer 1

如果您利用 Spark Kubernetes 运算符，则可以使用自定义容器，但这不是一个有据可查的工作流程，并且需要复杂的设置。GCP 运行 Spark 作业的首选方式是在支持 PySpark、SparkR、Scala的 Dataproc https://cloud.google.com/dataproc上。您仍然可以从 Vertex Pipelines 触发 Dataproc Spark 作业，并通过 MLeap 将模型保存在 Vertex 中进行预测。