1

我正在开发一个高性能计算集群,出于我不会在这里解释的原因,他们喜欢我们通过 NFS 来回发送一个文件。我的作业使用从以前的作业生成的数据并依赖于工作目录的结构。我将所有以前的结果都保存在data.tar.

我需要从中提取data.tar将在下一个作业中使用的目录,并将它们从登录节点发送到计算节点,如果可能的话,作为一个新的 tarball。有没有一种方法可以基本上将tar -xvf dir1/dir1.1 dir3/dir3.1输出流直接传输到新tar -cvf命令?

或者,我是否可以/scratch使用管道将第一次提取的结果直接传输到本地节点的目录,该管道将作为单个 I/O 活动并有效地充当跨 NFS 写入单个文件的行为?

提前致谢。让我知道我是否可以更清楚地了解我的需求。

4

1 回答 1

1

我在想你可以设置一个 tar 管道并通过 ssh 流式传输?

就像是:

cat foobar.tar | ssh -C root@my.serv.er "(cd /mnt/user/scratch/ && tar xvf -)"

于 2013-03-02T00:21:40.757 回答