我希望能够在提交 PySpark 作业时指定 --jars PySpark 提交选项。但是，不支持此选项。有替代方案吗？
问问题
326 次
1 回答
1
感谢您提出此问题，您似乎发现了一个错误，我们尚未连接必要的标志；其目的确实是--jars在控制台 GUI 和 中提供一个可用的选项gcloud beta dataproc jobs submit pyspark，我们希望能够在几周内在下一个小版本中部署修复程序。
同时，您可以尝试简单地将任何 jarfile 依赖项转储到/usr/lib/hadoop/lib/您的主节点和/或您的工作节点上，可能使用初始化操作在集群部署时自动下载 jarfile，然后它将在您的类路径上可用自动生成 Spark（和 Hadoop）作业。
于 2015-09-29T23:40:54.597 回答