0

我无法从 pyspark windows 执行以下命令

schemaPeople = spark.createDataFrame(people)

我已将 HADOOP_HOME 设置为 winutils 我已向 C:/tmp/hive 提供 77 权限

我仍然收到以下错误 -

Py4JJavaError: An error occurred while calling o23.applySchemaToPythonRDD.
: java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
    at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)
    at org.apache.spark.sql.hive.client.HiveClientImpl.<init>(HiveClientImpl.scala:189)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(Unknown Source)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(Unknown Source)
    at java.lang.reflect.Constructor.newInstance(Unknown Source)
    at org.apache.spark.sql.hive.client.IsolatedClientLoader.createClient(IsolatedClientLoader.scala:258)
    at org.apache.spark.sql.hive.HiveUtils$.newClientForMetadata(HiveUtils.scala:359)
    at org.apache.spark.sql.hive.HiveUtils$.newClientForMetadata(HiveUtils.scala:263)
    at org.apache.spark.sql.hive.HiveSharedState.metadataHive$lzycompute(HiveSharedState.scala:39)
    at org.apache.spark.sql.hive.HiveSharedState.metadataHive(HiveSharedState.scala:38)
    at org.apache.spark.sql.hive.HiveSharedState.externalCatalog$lzycompute(HiveSharedState.scala:46)

在发布这个之前我已经经历了很多类似的问题，在这里感谢任何帮助

4

1 回答 1

0

尝试使用 winutils 文件在 Windows 上设置 Spark 时出现此错误。我不得不以不同的方式设置 Spark 来解决这个问题。

我最终为我的 spark 版本下载了 Hadoop 二进制文件并从那里开始。如果您有兴趣，我通过演练记录了整个事情。窗户上的火花

要点是来自 Apache 的官方 Hadoop 版本不包含 Windows 二进制文件，并且从源代码编译可能很乏味，因此非常有帮助的人们提供了编译后的发行版。如果您想使用 Spark 2.0.2，请从steve loughran 的 github下载 2.1.0 的二进制文件，您可以从此处下载，您应该可以按预期进行设置。

于 2017-04-12T21:49:57.183 回答