问题标签 [metastore]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-spark - 启动 spark-shell 时出现异常：从数据存储区获取架构列信息时抛出异常
我正在使用 Spark 2.1.1。使用 mysql 作为元存储的后端。
在我的 spark-shell 开始时，我遇到了这个异常：
hadoop - 蜂巢，使用单线获取数据位置
我想知道是否有一种方法可以使用单线从蜂巢中获取数据位置。就像是
我目前的解决方案是获取完整的输出然后解析它。
mysql - 如何使用 MySql 5.7 作为配置单元元存储，因为它需要 SSL 参数？
我使用 MySQL 5.7 作为 Hive metastore 。像往常一样，我的连接字符串如下
但我收到以下错误。
org.apache.thrift.transport.TTransportException：无法在地址 0.0.0.0/0.0.0.0:9083 上创建 ServerSocket。
. 那么谁能告诉我如何在mysql连接字符串中传递SSl参数？或者我可以解决的任何其他方式？
database - PySpark：错误 SparkContext：初始化 SparkContext 时出错。java.nio.file.AccessDeniedException：
（Spark 新手）我在 Linux 机器上独立安装了 spark 来进行 POC。一切看起来都很好，我们的代码工作正常，我们开始在下面出现间歇性错误：
我厌倦了移动代码、重命名代码、简化代码，但这些都不起作用。没过多久，错误就自行停止了。不，它不会去任何地方。
我的 spark 版本是 spark-2.2.0 奇怪的是，一旦发生该错误，当我输入 pyspark 时，它也无法以很长的错误跟踪开始（在最后一部分下方）：
帮助表示赞赏
mysql - 无法使用 MySql 空密码启动 Hive 元存储
我的本地 MySql 没有登录密码，所以我将 hive-site.xml 配置设置为：
但是在启动 Metastore 之后
hive --service metastore
它总是显示有密码
如何解决？
mysql - Hive 1.2 Metastore 服务在将其配置为 S3 存储而不是 HDFS 后未启动
我有一个处于独立模式的 Apache Spark Cluster(2.2.0)。到目前为止，一直在使用 HDFS 来存储 parquet 文件。我正在使用 Apache Hive 1.2 的 Hive Metastore 服务来访问，使用 Thriftserver，Spark over JDBC。
现在我想使用 S3 对象存储而不是 HDFS。我已将以下配置添加到我的 hive-site.xml：
我在 MySQL 5.7 数据库中有配置单元元存储。我已将以下 jar 文件添加到 Hive lib 文件夹中：
- aws-java-sdk-1.7.4.jar
- hadoop-aws-2.7.3.jar
我已删除 MySQL 上的旧配置单元元存储模式，然后使用以下命令启动元存储服务：hive --service metastore &我收到以下错误：
缺少的类属于 Jackson 库，然后我复制了位于我的 spark-2.2.0-bin-hadoop2.7/jars/ 文件夹中的 Jackson-*.jar，它们是：
- jackson-annotations-2.6.5.jar
- 杰克逊核心2.6.5.jar
- 杰克逊核心asl-1.9.13.jar
- jackson-databind-2.6.5.jar
- 杰克逊-jaxrs-1.9.13.jar
- jackson-mapper-asl-1.9.13.jar
- 杰克逊模块参数-2.6.5.jar
- 杰克逊模块-scala_2.11-2.6.5.jar
- 杰克逊-xc-1.9.13.jar
但后来我收到以下错误：
我认为这里的错误与某些 jar 版本不兼容有关，但我无法找到正确的版本。
有人可以在这里帮助我吗？
hive - BigQuery 中有像“hive metastore”这样的元数据存储吗？
我是 BigQuery 的新手。我只是想知道，BigQuery 中是否有类似配置单元元存储（关于所有表、列及其描述的元数据）的东西？
hive - 我可以在aws上设置没有hadoop的hive metastore并将RDS用作db吗
想要从数据砖、频谱等中使用中央蜂巢元存储。
是否可以在不安装 hadoop 的情况下进行设置
apache-spark - Spark 2.1 默认元存储问题和 S3 访问
我是 spark 新手，我安装了 Spark 2.1.0（产品版本相同，这就是为什么）。
我的问题如下，在 EC2 Linux Amazon AMI 上安装 spark 后，当我启动 spark 时出现以下问题：
18/03/29 09:14:47 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... 在适用的情况下使用内置 java 类
18/03/29 09:14:53 WARN ObjectStore：无法获取数据库 global_temp，返回 NoSuchObjectException
当我启动 pyspark 并尝试像查询 S3 文件这样的简单操作时：
我有这个错误，看起来很奇怪，因为我以前从未启动过任何东西。所以我修复它删除实际的 /opt/spark-2.1.0-bin-hadoop2.7/bin/metastore_db ...我不明白它是如何工作的。
原因：错误 XJ040：无法使用类加载器 org.apache.spark.sql.hive.client.IsolatedClientLoader$$anon$1@5b041a3b 启动数据库“metastore_db”，有关详细信息，请参阅下一个异常。在 org.apache.derby.iapi.error.StandardException.newException(Unknown Source) at org.apache.derby.impl.jdbc.SQLExceptionFactory.wrapArgsForTransportAcrossDRDA(Unknown Source) ... 111 更多原因：错误 XSDB6：另一个实例Derby 可能已经启动了数据库 /opt/spark-2.1.0-bin-hadoop2.7/bin/metastore_db。
org.datanucleus.exceptions.NucleusDataStoreException：无法打开到给定数据库的测试连接。JDBC url = jdbc:derby:;databaseName=metastore_db;create=true, 用户名 = APP。终止连接池（如果您希望在应用程序之后启动数据库，请将 lazyInit 设置为 true）。原始异常： ------ java.sql.SQLException: 无法使用类加载器 org.apache.spark.sql.hive.client.IsolatedClientLoader$$anon$1@5b041a3b 启动数据库“metastore_db”，请参阅下一个异常细节。
谢谢您的帮助 ！
database - Spark 无法初始化 Hive metastore_db | Windows server 2008 R2 企业版 |
我正在尝试在 Windows Server 2008 Enterprise 上使用 spark。我遵循了这个安装指南，一旦完成，我就进行了第一次测试，但没有成功。我必须澄清一下我对此很陌生，但根据日志我认为 hive 无法启动 metastore_db。
这是我尝试过的简单代码：
每次我执行它时，我都会收到一个很长的日志错误，我将把它分成两部分，因为它不适合一篇文章：
日志错误的第 1 部分：