0

我能够位于和Alluxio之间的中间层，根据Running Apache Hive with Alluxio中的教程，我尝试从 Alluxio 为存储在 HDFS 中的现有表提供服务，因为我现在正在使用它来访问数据。 这里的关键步骤是将表位置从 HDFS 和 Ceph 等分布式存储系统修改为 alluxio：CephHiveexternal table

4.2. 将外部表从 HDFS 移动到 Alluxio 假设 Hive 中有一个现有的外部表 u_user，其位置设置为 hdfs://namenode_hostname:port/ml-100k。您可以使用以下 HiveQL 语句来检查其“Location”属性：

hive> desc 格式化的 u_user；
然后使用以下 HiveQL 语句将表数据位置从 HDFS 更改为 Alluxio：</p>

hive> 更改表 u_user 设置位置“alluxio://master_hostname:port/ml-100k”；

我使用的语句是： 

alter table call_center set location "alluxio://alluxio_master:19998/tpcds_text_1000.db/call_center";

但是，我收到如下错误：

 ERROR ql.Driver: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Unable to alter table. null

通过在 WARN 日志级别打开配置单元，我们获得了更多异常详细信息：

WARN [ main] metastore.RetryingMetaStoreClient: MetaStoreClient lost connection. Attempting to reconnect (1 of 1) after 1s. alter_table_with_environmentContext
org.apache.thrift.transport.TTransportException: null
        at org.apache.thrift.transport.TIOStreamTransport.read(TIOStreamTransport.java:132) ~[hive-exec-3.1.1.jar:3.1.1]
        at org.apache.thrift.transport.TTransport.readAll(TTransport.java:86) ~[hive-exec-3.1.1.jar:3.1.1]
        at org.apache.thrift.protocol.TBinaryProtocol.readAll(TBinaryProtocol.java:429) ~[hive-exec-3.1.1.jar:3.1.1]

当前call_center表格信息如下：

# Detailed Table Information
Database:               tpcds_text_1000
OwnerType:              USER
Owner:                  root
Retention:              0
Location:               s3a://tpcds/user/root/tpcds/1000/call_center
Table Type:             EXTERNAL_TABLE

欢迎任何意见，谢谢。

4

1 回答 1

0

使用 Alluxio 运行 Apache Hive中的一些修改可能仅在重启 Metastore 后生效。

我杀死了元存储并重新启动它hive --service metastore，然后成功修改了表位置。

将此线程留给可能遇到相同情况的任何人。

于 2019-08-25T08:30:17.210 回答