2

我遇到了一个叫做LivyBatchOperator的东西，但找不到一个很好的例子来在气流中提交 pyspark 应用程序。任何有关此的信息将不胜感激。提前致谢。

4

1 回答 1

1

我遇到了这篇博文，它可以帮助您了解 Airflow + Spark 上的可用选项。

这是 LivyBatchOperator 的示例，这里是关于如何安装气流-livy-operator 的示例。

我会推荐以下选项：

  1. AWS EMR：使用EmrAddStepsOperator
  2. 常规 Spark 集群：使用上述机制在气流中设置 Livy 算子。从气流服务器的角度来看，这将为您提供一个巧妙的配置，并在 spark 集群前使用 Livy。

让我知道你的回应！

于 2020-07-01T03:15:45.503 回答