0

使用 bdutil，我可以在 spark 1.3.1 上找到最新版本的 tarball：

gs://spark-dist/spark-1.3.1-bin-hadoop2.6.tgz

我想使用 Spark 1.4 中的一些新 DataFrame 功能。Spark 1.4 映像是否有可能可用于 bdutil 或任何解决方法？

更新：

按照安格斯戴维斯的建议，我下载并指向spark-1.4.1-bin-hadoop2.6.tgz，部署顺利；但是，调用 SqlContext.parquetFile() 时会出错。我无法解释为什么会出现这种异常，GoogleHadoopFileSystem 应该是 org.apache.hadoop.fs.FileSystem 的子类。将继续对此进行调查。

Caused by: java.lang.ClassCastException: com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem cannot be cast to org.apache.hadoop.fs.FileSystem
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2595)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:91)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2630)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2612)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:370)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:169)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:354)
at org.apache.hadoop.fs.Path.getFileSystem(Path.java:296)
at org.apache.hadoop.hive.metastore.Warehouse.getFs(Warehouse.java:112)
at org.apache.hadoop.hive.metastore.Warehouse.getDnsPath(Warehouse.java:144)
at org.apache.hadoop.hive.metastore.Warehouse.getWhRoot(Warehouse.java:159)
at org.apache.hadoop.hive.metastore.Warehouse.getDefaultDatabasePath(Warehouse.java:177)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.createDefaultDB_core(HiveMetaStore.java:504)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.createDefaultDB(HiveMetaStore.java:523)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.init(HiveMetaStore.java:397)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.<init>(HiveMetaStore.java:356)
at org.apache.hadoop.hive.metastore.RetryingHMSHandler.<init>(RetryingHMSHandler.java:54)
at org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:59)
at org.apache.hadoop.hive.metastore.HiveMetaStore.newHMSHandler(HiveMetaStore.java:4944)
at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.<init>(HiveMetaStoreClient.java:171)

在这里问了一个关于异常的单独问题

更新：

该错误原来是 Spark 缺陷；上述问题中提供的解决方案/解决方法。

谢谢！

海鹰

4

1 回答 1

3

如果可以接受本地解决方法，您可以将 spark-1.4.1-bin-hadoop2.6.tgz 从 apache 镜像复制到您控制的存储桶中。然后，您可以编辑 extensions/spark/spark-env.sh 并更改 SPARK_HADOOP2_TARBALL_URI='<your copy of spark 1.4.1>'（确保运行 VM 的服务帐户有权读取 tarball）。

请注意，我目前还没有进行任何测试来查看 Spark 1.4.1 是否可以立即使用，但如果您决定试一试，我很想听听您的体验。

于 2015-07-16T23:46:41.410 回答