2

我正在尝试通过他们的 lsf 系统在服务器上运行脚本以提交作业。当我在不使用 bsub 的情况下运行 wget 时，wget 成功下载了我要获取的文件。但是，当我在 bsub 中运行相同的命令时，作业会运行，但是无论我允许作业运行多长时间，wget 都会卡住（下载文件只需要大约 10 秒）。以下是我运行的命令：

wget ftp://ftp-trace.ncbi.nih.gov/1000genomes/ftp/data/NA19238/sequence_read/ERR000018.filt.fastq.gz #This one runs no problems.

bsub -q short -J wgettest -oo wtest.out -eo wtest.err wget ftp://ftp-trace.ncbi.nih.gov/1000genomes/ftp/data/NA19238/sequence_read/ERR000018.filt.fastq.gz #This one does not work. :(

作业的stderr文件如下

--2012-07-05 20:57:59-- ftp://ftp-trace.ncbi.nih.gov/1000genomes/ftp/data/NA192 38/sequence_read/ERR000018.filt.fastq.gz => `ERR000018 .filt.fastq.gz' 正在解析 ftp-trace.ncbi.nih.gov... 130.14.250.10 正在连接到 ftp-trace.ncbi.nih.gov|130.14.250.10|:21... 已连接。以匿名身份登录... 登录不正确。

有没有人有什么建议？提前致谢。

4

2 回答 2

1

在 beowulf 集群中，将工作节点与外部网络断开是标准做法。当您使用 bsub 提交时，您的作业正在工作节点上运行，因此它无法访问 Internet。这就是为什么必须始终通过头节点之一建立与集群的连接。通常，您应该在提交作业之前在头节点（不带 bsub）上手动下载任何需要的文件。如果您必须能够从工作节点下载某些东西，则可以使用某种隧道，但您必须与集群管理员讨论这一点。

于 2015-03-05T20:54:36.470 回答
0

执行命令的机器很可能没有 Internet 访问权限。

这些命令在资源分配后的节点上运行。

检查您是否有可以与系统耦合的代理，然后通过它执行 wget。

于 2014-06-30T14:05:45.220 回答