如何指定/传递包参数到 AWS 胶水火花作业？
我正在使用支持Spark 2.4.3的Glue 版本 1 ，并希望使用 Spark avro 来读取一些 avro 文件
问问题
588 次
1 回答
1
您不能为胶水作业提供包选项，而是从 maven 存储库下载依赖的 jar
然后将这些罐子放在 s3 中，并将它们作为额外的罐子传递给您的工作。这样您就可以在作业中访问这些 jar。
因为spark2.4.3你需要通过这个罐子
https://repo1.maven.org/maven2/org/apache/spark/spark-avro_2.12/2.4.3/spark-avro_2.12-2.4.3.jar
于 2020-07-15T05:45:22.377 回答