0

我正在将脚本转换为 HDFS (Hadoop),并且我有这个 cmd:

    tail -n+$indexedPlus1 $seedsDir/*url* | head -n$it_size > $it_seedsDir/urls

使用 HDFS,我需要使用 -get 获取文件,这很有效。

bin/hadoop dfs -get $seedsDir/*url* .

但是我不知道下载的文件名是什么,更不用说我想存储在 $local_seedsDir/ url中了。我可以知道吗?

亲吻告诉我:

bin/hadoop dfs -get $seedsDir/*url* $local_seedsDir/urls

即只需在本地将文件命名为 url。

4

1 回答 1

0
url=`echo bin/hadoop dfs -get urls-input/MR6/*url* .`

然后 tail 和 head 从 url 中提取实际文件名并将其存储在 $urls

rm $urls

但除此之外,就 KISS

于 2011-03-28T19:59:27.777 回答