amazon-ec2 - GNU Parallel：保持连接活跃

Question

我正在使用 GNU Parallel 将 1000 个文件从 S3 下载到两个 EC2 主机（-S:,R），其中“R”是远程对等方的 IP。
使用 --jobs 64，从 S3 下载 64 个文件（相当大的文件）需要很长时间：

时间并行 --jobs 64 --joblog out.txt -S:,R --env HTTPS_PROXY --env S3_DIR "aws s3 cp ${S3_DIR}part-{}.gz /my/path/" ::: `seq -f "%05g" 0 1000`

结果，我得到

远程主机关闭与 R 的连接。

这是由于远程对等方上的 sshd 配置，我无法更改这些设置（机器不是我的。）

查看文档，我找不到像keep-alive这样的东西。我该如何解决这个问题？谢谢你。

Answer 1

您可能无法更改 sshd_config，但通常它会尊重 ssh 提供的选项：

ssh -o TCPKeepAlive ...

如果是这种情况，您可以让 GNU Parallel 使用不同的 ssh 命令：

parallel -S '/path/to/different/ssh_command -o KeepAlive server' echo ::: foo