hive - 使用命令“插入覆盖目录”使用配置单元导出数据时如何打印输出文件大小

Question

我正在使用直线将数据导出到 hdfs，命令如下：

INSERT OVERWRITE  DIRECTORY $export_tmp
  ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' 
   select * from xxx_table_name;

我想设置回显输出文件大小，例如 1024M。

Answer 1

如果它在最后一个顶点的许多映射器或减速器上运行，它可以是许多文件。

最简单的方法是在shell中执行

hadoop fs -ls <directory> 

或者

hdfs dfs -ls <directory> 

您也可以尝试使用直线在直线内执行它!sh

!sh hdfs dfs -ls <directory> 

也可以使用在作业结束时打印的计数器，例如 HDFS：写入的字节数（不确定这个数字是否正确）