java - Hadoop-Cascading：部分目录源点击

Question

我的数据结构如下：

+data
|-2014080700_00.txt
|-2014080700_01.txt
|-2014080701_00.txt
|- ...
|-2014080723_00.txt
|-2014080800_00.txt
|- ...
|-2014090800_00.txt

我知道我可以使用数据目录中的所有文件，Tap如下所示：

Tap inTap = new Hfs( new TextLine(), "/path/to/data");

但我想要目录的特定部分，例如只有 date 上的文件20140807。因此它将包括所有带有前缀的文件20140807。有没有办法用级联来做到这一点？或者有什么方法可以通过烫伤来做到这一点？

score 3 · Accepted Answer

我不认为您可以使用来做到这一点Hfs，但可以使用GlobHfs.

尝试以下操作：

Tap inTap = new GlobHfs( new TextLine(), "/path/to/data/", new GlobFilter("20140807*"));

这将创建一个 Globbing Tap，使用“/path/to/data/”目录作为源，并使用"20140807*"传递给的 glob 模式过滤其中的文件GlobFilter。

1 回答 1