1

我有几个hadoop流API程序并使用以下输出格式生成输出：“org.apache.hadoop.mapred.SequenceFileOutputFormat”并且流API程序可以读取输入格式为“org.apache.hadoop.mapred.SequenceFileAsTextInputFormat”的文件。

输出文件中的数据如下所示。

val1-1,val1-2,val1-3
val2-1,val2-2,val2-3
val3-1,val3-2,val3-3

现在我想用 hive 读取输出。我用这个脚本创建了一个表：

CREATE EXTERNAL 
TABLE IF NOT EXISTS table1
(
col1 int,
col2 string,
col3 int
)
PARTITIONED BY (year STRING,month STRING,day STRING,hour STRING)
ROW FORMAT DELIMITED
FIELDs TERMINATED BY '\t'
LINES TERMINATED BY '\n'
STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.SequenceFileAsTextInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.mapred.SequenceFileOutputFormat'
LOCATION '/hive/table1';

当我用查询查询数据时

select * from table1

结果将是

val1-2,val1-3
val2-2,val2-3
val3-2,val3-3

似乎第一列已被忽略。我认为 hive 只是使用值作为输出而不是键。有任何想法吗？

4

2 回答 2

1

你是对的。Hive 目前的限制之一是忽略序列文件格式中的键。到目前为止，我指的是 Hive 0.7，但我相信这也是 Hive 0.8 和 Hive 0.9 的限制。

为了避免这种情况，您可能必须创建一个新的输入格式，其中键为空，值是您当前键和值的组合。抱歉，我知道这不是您要找的答案！

于 2012-05-09T00:36:06.300 回答
0

我认为它应该fields terminated by ','
代替。fields terminated by '\t'

于 2012-05-08T13:06:04.557 回答