hadoop - 带有通配符或变量（glob）的 distcp 目录的设计模式

Question

我知道 distcp 不能使用通配符。但是，我需要在更改目录时安排 distcp。（即在星期一等只复制“星期五”目录中的数据），也可以从指定目录下的所有项目中复制数据。

是否有某种设计模式可以编写此类脚本？

简而言之，我希望能够做到：

hadoop distcp /foo/*/bar/$year/$month/$day hdfs://namespace-foo/replication-dir/

Answer 1

我最终使用以下函数来访问我需要的目录。

    function get_list_of_directories_for_input_dir {

        local fvar_dirlist=`hadoop fs -ls "$1" | awk '{print $8}'`
        local fvar_count=`echo "$fvar_dirlist" | wc -l`
        if [ "$fvar_count" -ge "2" ]; then

                local fvar_len=$(($fvar_count - 1))
                local fvar_dirlist=`echo $fvar_dirlist | tail -n $fvar_len`
                echo "$fvar_dirlist"

        else
                exit 1;
        fi

}