condor - 在 HTCondor 中检索创建的输出文件

Question

我正在使用 HTCondor 运行一项需要大量时间（数十小时）并定期生成文件（数十分钟）的作业。我希望 HTCondor 在创建文件后立即将文件传输到我的提交目录。我怎样才能做到这一点？

秃鹰有什么本机选项可以让我这样做吗？有替代方法吗？

scp我也可以尝试mv创建文件，但我不知道如何手动将文件从 condor 传输到我的个人空间

Answer 1

condor_tail 命令可以从提交端执行此操作，或者 condor_chirp 命令可以从作业本身执行此操作。

例如，如果您正在登录提交机器（很可能是您提交作业的同一台机器），并且您对仍在运行的作业的任何输出文件的状态感到好奇，您可以查看通过运行文件的最后 1024 个字节

$ condor_tail <the_job_id> the_file_name

要查看超过 1024 个字节，您可以运行

$ condor_tail <the_job_id> -maxbytes some_number_more_than_1024 the_file_name

或者，如果您在 Linux 上，并且您的系统管理员允许，您可以运行

$ condor_ssh_to_job <the_job_id>

它为您提供了一个登录 shell 到正在运行作业的机器上，在作业的暂存目录中，以及 condor 可以提供的尽可能多的作业环境。

最后，如果作业本身可以运行命令，例如在每个完成的步骤之后定期运行，并且作业已使用提交文件选项启用 remoteio

+WantRemoteIO = true

工作可以运行

$ condor_chirp put local_file_name file_name_on_submit_machine

并且作业中的文件名 local_file_name 将被复制到提交机器到作业开始的目录中。