问题标签 [condor]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
fortran - 为什么非并行化 Fortran 会测量太长的 CPU 时间?
我的程序显示的 CPU 运行时间比程序实际运行的时间长,代码中没有编写并行化。
代码大部分是用 Fortran 90 编写的(我添加了一两个后来的 Fortran 东西),并用我的 Linux 机器的本机gfortran
编译器编译(--version
信息:GNU Fortran (GCC) 4.4.7 20120313 (Red Hat 4.4.7-17) )。我知道gfortran
编译到比 90 更高的标准。
当程序启动时它调用call cpu_time(time_start)
并在它结束之前调用call cpu_time(time_end)
. 在这种情况下,time_end - time_start
以秒为单位给出经过的 CPU 时间。
所以奇怪的是:我使用 HTCondor 提交我的代码,以便在本地网络中任何有可用 CPU 的机器上运行。我的 HTCondor 日志文件显示作业于 07/24 14:17:46 提交,15 秒后开始运行,然后在同一台机器上运行完成,于 07/30 11:01:52 结束,时钟时间不到 6天。但是,time_end - time_start
说CPU 时间是 993535 秒,或超过 11 天。我的代码根本没有并行化,所以我不明白这是怎么回事。 怎么会这样?
我之前已经运行了这个代码数百次并且从未注意到这种现象,但是我也从未仔细检查过。
编辑:我想再次指出我的代码没有并行化,至少没有明确地并行化。我确实使用-O3
标志编译,但我认为这不会引入并行化。如果链接的关于并行 Fortran 的问题/答案确实回答了我关于串行进程的问题,请帮助我理解如何,因为我没有看到连接。
我的 HTCondor 提交脚本如下。我condor_submit
是这个脚本,这就是我运行代码的方式。
php - 使用 PHP 显示 HTCondor 状态
我目前正在尝试在浏览器中显示 HTCondor 命令“condor_q”的输出,作为我正在开发的前端的一部分。我正在使用 PHP 并尝试了 echo exec("condor_q")、echo shell_exec() 和 echo system(),但没有显示任何内容。
前端使用 Ubuntu 16.04 上的 Web 服务器 Xampp 在单台机器上运行。
如果有任何关于如何解决此问题的建议,我将不胜感激
谢谢
python - 秃鹰引用地狱
我在json.loads
通过 Condor 传递要在 Python 中读取的 dict 的字符串表示形式时遇到问题。
在命令行上,我会输入:
经过与文档的大量斗争,我了解 Condor 想要在提交文件中:
但是,它失败并在日志中的 dict 字符串周围声明四单引号,例如:
有什么方法可以操纵引号使其按预期运行?
julia - Julia 和 HTCondor - ENV["HOME"] 导致 Condor 出错
当我在HTCondor上运行打印“Hello World”的 Julia 脚本时,出现以下错误
代码在我的本地 Ubuntu 机器上运行没有问题。我可以跑
在 condor 上的 bash 脚本中,输出是
这个问题已经在github上两个地方讨论过:一、二。ENV["HOME"] 在单个文件中使用,常见的建议是修改它。但是,我无法更改 condor 上的 julia 安装。
有没有办法在运行没有 sudo 的脚本之前即时解决这个问题?
python - HTCondor 输出文件:获取创建的目录
我正在使用 HTcondor 生成一些数据(txt、png)。通过运行我的程序,它会在 .sub 文件旁边创建一个名为 datasets 的目录,其中存储了数据集。不幸的是,condor 完成后并没有将这些创建的数据还给我。换句话说,我的目标是在 .sub 文件旁边的“Datasets”子文件夹中获取创建的数据。
我试过:1)不把数据放在datasets子文件夹下,我想得到它们。但是,这不是一个顺利的解决方案,因为我生成了大约 100 个文件,这些文件现在与 .sub 文件和所有其他文件混合在一起。
2)我也尝试在子文件中进行设置,导致:
这次我收到错误,即找不到数据集。拼写已经检查过了。
3) 另一种选择是将所有内容打包成一个 zip,但由于我必须运行数百个作业,因此我不想在之后解压缩所有这些文件。
我希望有人提出如何解决这个问题的好主意。
python - 阻止 Python 用 Condor 作业覆盖文件
我试图执行的 python 代码必须将两个不同的变量写入文件。我正在使用 Condor 来加快我的进程,这意味着 python 代码是同步执行的。我定义的写入函数是:
但不幸的是,该文件以某种方式不断覆盖结果。有人可以帮助我如何使用 Condor 将变量写入文本文件吗?
python-2.7 - 如何在 Condor 上运行 python 程序?
我是 Condor 的新手,正在尝试在 Condor 上运行我的 Python 程序,但很难做到。我发现的所有教程都假设一个文件 Python 程序,但我的 Python 程序包含多个包和文件,并且还使用其他库,例如 numpy 和 scipy。在那种情况下,我怎样才能让 Condor 运行我的程序?我应该将程序转换为某种可执行文件吗?或者,有什么方法可以将 Python 源代码传输到 Condor 机器中并让 Condor 上的 Python 运行源代码?
谢谢,
condor - 使用 HTC Condor 让工作在所有其他人结束时运行
我有一个 HTC Condor 的 dag 文件,里面有几百个工作。我想向 dag 添加一个作业/节点,但条件是它应该在所有其他作业完成后运行。我尝试将其设置为所有作业的子项,但如果其他作业之一失败,则该作业不会运行。
有没有办法让这个作业跑到最后,而不关心其他作业的成败?
非常感谢你的帮助。
linux - HTCondor 与 OpenFOAM
我正在尝试从 HTCondor 在 OpenFOAM 中启动一些计算。到目前为止,我们只准备了一台多核服务器 OpenFOAM。OpenFOAM 是按照以下说明从源代码(不使用 docker)安装的:https ://openfoam.org/download/4-1-source/
问题:当我在 HTCondor 中提交作业时,它会正确启动(我看到生成了结果文件)但输出文件没有复制回提交提交的机器(在 Windows 上)。
这是我的工作文件:
openfoamtest.sh:
请注意,我使用condorworker用户而不是用户nobody来启动进程。提交是从 Windows 计算机进行的。谢谢你。
python - 是否可以在 condor 系统上启动交互式 REPL 会话(R、python 等)?
例如,我想在一个 condor 集群上请求 32 个 CPU。通常,我可以提交一份工作来运行一个程序,例如:
my_R_script.sh
:
my_condor_job
:
condor_submit my_condor_job
但这是在my_R_program.R
已经拥有我想要输入的所有命令的假设下运行的。相反,我想启动一个交互式 R 会话并交互式地利用 32 个 CPU。这可能在秃鹰身上吗?