我想运行 EMR spark 作业，它将数据输出到 S3，当作业完成时终止集群并提交将数据导入 Redshift 的自定义 jar
我正在将所有 jar 文件部署到 S3 文件夹
对于 EMR，我使用 Airflow EMR/Livy 操作员提交可以轻松配置为从 S3 挑选罐子的作业
我应该使用什么来在 Airflow 中从 S3 提交自定义 jar？
现在我使用接下来的气流 SSH 操作符：
- 将 jar 文件（如果不存在）从 s3 复制到 temp 文件夹
- 使用 java -cp 命令从 cmd 提交 jar
另外，我不喜欢直接在 Airflow 上提交 jar 的想法，因为如果 jar 需要大量资源/时间来运行，它可能会过载
我想知道，有没有更好的方法来做到这一点？