问题标签 [condor]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
139 浏览

fortran - 为什么非并行化 Fortran 会测量太长的 CPU 时间?

我的程序显示的 CPU 运行时间比程序实际运行的时间长,代码中没有编写并行化。

代码大部分是用 Fortran 90 编写的(我添加了一两个后来的 Fortran 东西),并用我的 Linux 机器的本机gfortran编译器编译(--version信息:GNU Fortran (GCC) 4.4.7 20120313 (Red Hat 4.4.7-17) )。我知道gfortran编译到比 90 更高的标准。

当程序启动时它调用call cpu_time(time_start)并在它结束之前调用call cpu_time(time_end). 在这种情况下,time_end - time_start以秒为单位给出经过的 CPU 时间。

所以奇怪的是:我使用 HTCondor 提交我的代码,以便在本地网络中任何有可用 CPU 的机器上运行。我的 HTCondor 日志文件显示作业于 07/24 14:17:46 提交,15 秒后开始运行,然后在同一台机器上运行完成,于 07/30 11:01:52 结束,时钟时间不到 6天。但是,time_end - time_startCPU 时间是 993535 秒,或超过 11 天。我的代码根本没有并行化,所以我不明白这是怎么回事。 怎么会这样?

我之前已经运行了这个代码数百次并且从未注意到这种现象,但是我也从未仔细检查过。

编辑:我想再次指出我的代码没有并行化,至少没有明确地并行化。我确实使用-O3标志编译,但我认为这不会引入并行化。如果链接的关于并行 Fortran 的问题/答案确实回答了我关于串行进程的问题,请帮助我理解如何,因为我没有看到连接。

我的 HTCondor 提交脚本如下。我condor_submit是这个脚本,这就是我运行代码的方式。

0 投票
1 回答
91 浏览

php - 使用 PHP 显示 HTCondor 状态

我目前正在尝试在浏览器中显示 HTCondor 命令“condor_q”的输出,作为我正在开发的前端的一部分。我正在使用 PHP 并尝试了 echo exec("condor_q")、echo shell_exec() 和 echo system(),但没有显示任何内容。

前端使用 Ubuntu 16.04 上的 Web 服务器 Xampp 在单台机器上运行。

如果有任何关于如何解决此问题的建议,我将不胜感激

谢谢

0 投票
0 回答
135 浏览

python - 秃鹰引用地狱

我在json.loads通过 Condor 传递要在 Python 中读取的 dict 的字符串表示形式时遇到问题。

在命令行上,我会输入:

经过与文档的大量斗争,我了解 Condor 想要在提交文件中:

但是,它失败并在日志中的 dict 字符串周围声明四单引号,例如:

有什么方法可以操纵引号使其按预期运行?

0 投票
1 回答
196 浏览

julia - Julia 和 HTCondor - ENV["HOME"] 导致 Condor 出错

当我在HTCondor上运行打印“Hello World”的 Julia 脚本时,出现以下错误

代码在我的本地 Ubuntu 机器上运行没有问题。我可以跑

在 condor 上的 bash 脚本中,输出是

这个问题已经在github上两个地方讨论过:。ENV["HOME"] 在单个文件中使用,常见的建议是修改它。但是,我无法更改 condor 上的 julia 安装。

有没有办法在运行没有 sudo 的脚本之前即时解决这个问题?

0 投票
1 回答
762 浏览

python - HTCondor 输出文件:获取创建的目录

我正在使用 HTcondor 生成一些数据(txt、png)。通过运行我的程序,它会在 .sub 文件旁边创建一个名为 datasets 的目录,其中存储了数据集。不幸的是,condor 完成后并没有将这些创建的数据还给我。换句话说,我的目标是在 .sub 文件旁边的“Datasets”子文件夹中获取创建的数据。

我试过:1)不把数据放在datasets子文件夹下,我想得到它们。但是,这不是一个顺利的解决方案,因为我生成了大约 100 个文件,这些文件现在与 .sub 文件和所有其他文件混合在一起。

2)我也尝试在子文件中进行设置,导致:

这次我收到错误,即找不到数据集。拼写已经检查过了。

3) 另一种选择是将所有内容打包成一个 zip,但由于我必须运行数百个作业,因此我不想在之后解压缩所有这些文件。

我希望有人提出如何解决这个问题的好主意。

0 投票
1 回答
63 浏览

python - 阻止 Python 用 Condor 作业覆盖文件

我试图执行的 python 代码必须将两个不同的变量写入文件。我正在使用 Condor 来加快我的进程,这意味着 python 代码是同步执行的。我定义的写入函数是:

但不幸的是,该文件以某种方式不断覆盖结果。有人可以帮助我如何使用 Condor 将变量写入文本文件吗?

0 投票
3 回答
2948 浏览

python-2.7 - 如何在 Condor 上运行 python 程序?

我是 Condor 的新手,正在尝试在 Condor 上运行我的 Python 程序,但很难做到。我发现的所有教程都假设一个文件 Python 程序,但我的 Python 程序包含多个包和文件,并且还使用其他库,例如 numpy 和 scipy。在那种情况下,我怎样才能让 Condor 运行我的程序?我应该将程序转换为某种可执行文件吗?或者,有什么方法可以将 Python 源代码传输到 Condor 机器中并让 Condor 上的 Python 运行源代码?

谢谢,

0 投票
1 回答
147 浏览

condor - 使用 HTC Condor 让工作在所有其他人结束时运行

我有一个 HTC Condor 的 dag 文件,里面有几百个工作。我想向 dag 添加一个作业/节点,但条件是它应该在所有其他作业完成后运行。我尝试将其设置为所有作业的子项,但如果其他作业之一失败,则该作业不会运行。

有没有办法让这个作业跑到最后,而不关心其他作业的成败?

非常感谢你的帮助。

0 投票
1 回答
157 浏览

linux - HTCondor 与 OpenFOAM

我正在尝试从 HTCondor 在 OpenFOAM 中启动一些计算。到目前为止,我们只准备了一台多核服务器 OpenFOAM。OpenFOAM 是按照以下说明从源代码(不使用 docker)安装的:https ://openfoam.org/download/4-1-source/

问题:当我在 HTCondor 中提交作业时,它会正确启动(我看到生成了结果文件)但输出文件没有复制回提交提交的机器(在 Windows 上)。

这是我的工作文件:

openfoamtest.sh:

请注意,我使用condorworker用户而不是用户nobody来启动进程。提交是从 Windows 计算机进行的。谢谢你。

0 投票
1 回答
119 浏览

python - 是否可以在 condor 系统上启动交互式 REPL 会话(R、python 等)?

例如,我想在一个 condor 集群上请求 32 个 CPU。通常,我可以提交一份工作来运行一个程序,例如:

my_R_script.sh

my_condor_job

condor_submit my_condor_job

但这是在my_R_program.R已经拥有我想要输入的所有命令的假设下运行的。相反,我想启动一个交互式 R 会话并交互式地利用 32 个 CPU。这可能在秃鹰身上吗?