2

我目前对 Apache Drill 的查询如下 -

select 
 CAST(columns[0] AS Integer) as ID, 
 to_timestamp(SUBSTR(columns[10],1,14),'YYYYMMddHHmmss') as RecordDt
from dfs.`/data/100Krows/`

我想要做的是获取我文件夹中每个 .csv 文件的 modifyTime 元数据作为这样的列 -

select 
  CAST(columns[0] AS Integer) as ID, 
  to_timestamp(SUBSTR(columns[10],1,14),'YYYYMMddHHmmss') as RecordDt,
  modificationTime as versionStartTime
from dfs.`/data/100Krows/`

运行以下命令时可以找到 modifyTime 元数据

 SHOW FILES in dfs.data

有没有办法在其当前版本 1.1 或 1.0 中实现这一点？

更新 1

我真正要寻找的是针对单个文件的 select 语句的结果集中包含的文件元数据

如果我的目录结构如下 -

dir0
 dir1
  samefilename.csv    -- Modified Date - 10/01/2013
    *******DATA******
    Col0,Col1,Col2
    Val1-2013,Val2-2013,Val3-2014
    *******DATA******
 dir2
   samefilename.csv    -- Modified Date - 10/01/2014
    *******DATA******
     Col0,Col1,Col2
     Val1-2014,Val2-2014,Val3-2014
    *******DATA******

我想写的查询类型 -

select 
  name             as filename,  
  modificationTime as versionStartTime,
 Col0,
 Col2,
 Col3
from dfs.`/dir0/`

预期结果 -

 Columns[0]         Columns[1]   Columns[2]        .....
 samefileName.csv   10/01/2013   Val1-2013         .....
 samefileName.csv   10/01/2014   Val1-2014         .....
4

1 回答 1

0

道治，

这目前并不完全可能（从 1.1 版开始），但在解决您的问题的钻头问题实施之前，这里是它的代理。我在下面提出的不是确切的解决方案，但通过一些工作可以让你到达那里。

前提条件和注意事项：

  1. 在 .psv 存储配置下注册 .tbl 扩展名。
  2. 我在 dfs 下执行此操作。
  3. 是您想要命名的文件的占位符。

在 Drill 的 SQLLine 提示符下执行此操作：

0: jdbc:drill:zk=local> use dfs;  
0: jdbc:drill:zk=local> record! <file_name.tbl>  
0: jdbc:drill:zk=local> SHOW FILES;  
0: jdbc:drill:zk=local> record!  
0: jdbc:drill:zk=local> select columns[9] from dfs.`<file_name.tbl>';

某些列条目中可能存在一些噪音，但您可以通过查询进一步过滤掉它。

> 0: jdbc:drill:zk=local> !record <file_name.tbl>
Recording stopped.
0: jdbc:drill:zk=local> select columns[9] from dfs.`<\path\<file_name.tbl>`;
+---------------------------+
|          EXPR$0           |
+---------------------------+
| null                      |
| null                      |
|     modificationTime      |
| null                      |
|  2013-04-26 23:44:56.0    |
|  2015-08-12 16:21:39.0    |
|  2014-04-26 10:09:33.0    |
|  2015-04-27 22:49:48.0    |
|  2013-08-24 20:16:29.0    |
|  2015-08-23 19:26:54.0    |
|  2014-10-21 16:43:38.0    |
|  2014-04-26 10:09:35.0    |
|  2014-10-21 16:43:38.0    |
|  2012-11-16 11:38:17.0    |
|  2012-11-16 11:44:27.0    |
|  2014-10-21 16:42:57.0    |
|  2014-04-26 10:09:28.0    |
|  2013-08-24 21:48:39.0    |
|  2015-08-20 22:27:34.0    |
+---------------------------+
19 rows selected (0.082 seconds)
于 2015-08-23T23:40:51.810 回答