0

我有按日期和小时列分区的配置单元表。当我加载数据时，我将创建 24 个文件。我想将这 24 个文件合并到一个文件中。谁能建议我解决方案

4

1 回答 1

2

好吧，如果您想在将数据插入分区文件时拥有一个文件，那么您可以按如下方式使用配置单元：

  • 按日期划分
  • 存储在任何一列上，并且只有 1 个存储桶。

由于您的存储桶编号为 1，因此插入后您的所有数据都将在文件中。

另一种方法是使用 hdfs 命令合并它，如下所示

hadoop fs -cat hive_table_data_folder/p* > new_file_name
于 2017-12-24T02:54:07.063 回答