我的团队正在寻找一种在 Kubernetes 上使用 Tensorflow 库运行 Spark 作业的方法。我们习惯性地使用 Spark Operator 在 Kubernetes 上运行 Spark。
我应该如何使用 Spark 作业 (PySpark + TF) 创建一个 pod 并让它与 Spark Operator k8s 资源一起使用？
我探索了 Horovod，一个来自 Uber 的开源深度学习框架。我们不使用 GPU 进行训练，Horovod 似乎比我们的目标更适合这些操作。
我的团队正在寻找一种在 Kubernetes 上使用 Tensorflow 库运行 Spark 作业的方法。我们习惯性地使用 Spark Operator 在 Kubernetes 上运行 Spark。
我应该如何使用 Spark 作业 (PySpark + TF) 创建一个 pod 并让它与 Spark Operator k8s 资源一起使用？
我探索了 Horovod，一个来自 Uber 的开源深度学习框架。我们不使用 GPU 进行训练，Horovod 似乎比我们的目标更适合这些操作。