我是 spark 新手，我安装了 Spark 2.1.0（产品版本相同，这就是为什么）。
我的问题如下，在 EC2 Linux Amazon AMI 上安装 spark 后，当我启动 spark 时出现以下问题：
18/03/29 09:14:47 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... 在适用的情况下使用内置 java 类
18/03/29 09:14:53 WARN ObjectStore：无法获取数据库 global_temp，返回 NoSuchObjectException
当我启动 pyspark 并尝试像查询 S3 文件这样的简单操作时：
sqlContext = SQLContext(sparkContext=sc)
df = sqlContext.read.format('csv').options(header='true').load('s3a://bucket_name/my_file.csv')
我有这个错误，看起来很奇怪，因为我以前从未启动过任何东西。所以我修复它删除实际的 /opt/spark-2.1.0-bin-hadoop2.7/bin/metastore_db ...我不明白它是如何工作的。
原因：错误 XJ040：无法使用类加载器 org.apache.spark.sql.hive.client.IsolatedClientLoader$$anon$1@5b041a3b 启动数据库“metastore_db”，有关详细信息，请参阅下一个异常。在 org.apache.derby.iapi.error.StandardException.newException(Unknown Source) at org.apache.derby.impl.jdbc.SQLExceptionFactory.wrapArgsForTransportAcrossDRDA(Unknown Source) ... 111 更多原因：错误 XSDB6：另一个实例Derby 可能已经启动了数据库 /opt/spark-2.1.0-bin-hadoop2.7/bin/metastore_db。
org.datanucleus.exceptions.NucleusDataStoreException：无法打开到给定数据库的测试连接。JDBC url = jdbc:derby:;databaseName=metastore_db;create=true, 用户名 = APP。终止连接池（如果您希望在应用程序之后启动数据库，请将 lazyInit 设置为 true）。原始异常： ------ java.sql.SQLException: 无法使用类加载器 org.apache.spark.sql.hive.client.IsolatedClientLoader$$anon$1@5b041a3b 启动数据库“metastore_db”，请参阅下一个异常细节。
谢谢您的帮助 ！