我有不同的火花和气流服务器。而且我在气流服务器中没有火花二进制文件。我能够很好地使用 SSHOperator 并在集群模式下运行 spark 作业。我想知道从长远来看，使用 SSHOperator 或 SparkSubmitOperator 提交 pyspark 作业有什么好处。任何帮助将不胜感激。
问问题
878 次
2 回答
1
以下是在气流中使用 SSHOperator 与 SparkSubmit Operator 的优缺点，并遵循我的建议。
SSHOperator ：该操作员将对远程 Spark 服务器执行 SSH 操作，并在远程集群中执行 spark 提交。
优点：
- 气流工作人员无需额外配置
缺点：
- 难以维护 spark 配置参数
- 需要从气流服务器启用 SSH 端口 22 来触发服务器，这会导致安全问题（尽管您在专用网络上，但使用基于 SSH 的远程执行并不是最佳实践。）
SparkSubbmitOperator ：此操作员将以干净的方式执行 spark 提交操作，但您仍需要额外的基础架构配置。
优点：
- 如上所述，它带有方便的火花配置，无需额外的努力来调用火花提交
缺点：
- 需要在所有气流服务器上安装 spark。
除了这 2 个选项之外，我还列出了另外 2 个选项。
在 Spark 集群上安装 Livy 服务器并使用 python Livy 库与 Airflow 中的 Spark 服务器进行交互。参考：https ://pylivy.readthedocs.io/en/stable/
如果您的 spark 集群在 AWS EMR 上，我会鼓励使用EmrAddStepsOperator
有关其他讨论，请参阅此处：在气流 (1**.1*.0.35) 中运行来自不同集群 (1**.1*.0.21) 的 Spark 提交程序。如何在气流中远程连接其他集群
于 2020-06-27T23:17:31.380 回答
0
SparkSubmitOperator 是一个专门的算子。也就是说，它应该使提交 Spark 作业的编写任务更容易，并且代码本身更具可读性和可维护性。因此，如果可能的话，我会使用它。
在您的情况下，您应该考虑修改基础设施（以便您可以使用 SparkSubmitOperator）的努力是否值得我在上面提到的好处。
于 2020-06-25T18:56:06.660 回答