0

我创建了一个 hive 表，其基本位置指向 AWS S3 位置。但是，我想使用“插入覆盖”查询在 HDFS 集群上创建一个分区。

以下步骤：

-- Create intermediate table
create table test_int_ash
( loc string)
partitioned by (name string, age int)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
stored as textfile
location '/user/ash/test_int';

-- Insert into intermedate table with two names 'rash' and 'nash'
INSERT INTO test_int_ash partition (name="rash",age=20) values ('brisbane');
INSERT INTO test_int_ash partition (name="rash",age=30) values ('Sydney');
INSERT INTO test_int_ash partition (name="rash",age=40) values ('Melbourne');
INSERT INTO test_int_ash partition (name="rash",age=50) values ('Perth');

INSERT INTO test_int_ash partition (name="nash",age=50) values ('Auckland');
INSERT INTO test_int_ash partition (name="nash",age=40) values ('Wellington');


-- create curated table
create external table test_curated_ash
( loc string)
partitioned by (name string, age int)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
stored as textfile
location 's3a://mybucket/tmp/test_curated/'; 

-- load curated table from intermedate table, using dynamic partition method, creates partitions on aws s3.
insert overwrite table test_curated_ash partition(name='rash',age)
select loc,age from test_int_ash where name='rash' ;

-- I want to keep this partition on HDFS cluster, below query doesnt work 

insert overwrite table test_curated_ash partition(name='nash',age) location 'hdfs://mynamenode/user/ash/test_curated_new'
select loc,age from test_int_ash where name='nash';

下面的查询有效，但我不想用“静态分区”方法处理它。

alter table test_curated_ash add partition(name='nash',age=40) location 'hdfs://swmcdh1/user/contexti/ash/test_curated_new/name=nash/age=40';
alter table test_curated_ash add partition(name='nash',age=50) location 'hdfs://swmcdh1/user/contexti/ash/test_curated_new/name=nash/age=50';

insert overwrite table test_curated_ash partition(name='nash',age)
select loc,age from test_int_ash where name='nash'

您能否帮助我了解如何在“插入覆盖”动态查询中设置分区位置？

4

2 回答 2

0

您可以使用另一个中间表在 HDFS 上创建带有分区的数据。

然后通过执行以下操作更改最终表中分区的位置以指向不同的位置 -

使用 dbname;ALTER TABLE table_name PARTITION (partname=value) SET LOCATION "location";

或者您可以直接更新 Hive Metastore 表 SDS 以获得适当的 SD_ID

于 2018-08-24T20:09:39.147 回答
0

假设我有一个名为“user”的表，并且我想使用国家列对其进行动态分区。

询问 ：

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.max.dynamic.partitions=1000;
set hive.exec.max.dynamic.partitions.pernode=1000;

INSERT overwrite TABLE partitioned_user
    PARTITION (country)
        SELECT  firstname ,lastname,address,city,salary ,post,phone1,phone2,email,
        web,country FROM user;

将数据插入分区时，需要将分区列作为查询中的最后一列。

设置 hive.exec.dynamic.partition.mode=nonstrict; 如果严格

在 mapreduce 严格模式 (hive.mapred.mode=strict) 下，一些有风险的查询是不允许运行的。他们包括：

  1. 笛卡尔积。
  2. 没有为查询选择分区。
  3. 比较 bigint 和字符串。
  4. 比较 bigints 和 doubles。
  5. Orderby 无限制。

根据第 2 点和第 5 点，我们不能在没有至少一个分区键过滤器的情况下使用 SELECT 语句（如 WHERE country='US'）或在分区表上没有 LIMIT 条件的 ORDER BY 子句。但默认情况下，此属性设置为非严格。

于 2018-05-31T03:45:50.833 回答