问题标签 [hpcc]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
84 浏览

hpcc - 在 ECL IDE 中从本地切换到雷神集群

我正在尝试切换到 ECL IDE 中的 thor 集群,但下拉菜单中没有 thor。是我在安装过程中犯的错误吗?有人对此有任何意见吗?

0 投票
1 回答
56 浏览

docker - 如何从另一台笔记本电脑访问我的 HPCC docker 容器?

我正在使用 docker-toolbox 在笔记本电脑的 docker-compose 中运行 HPCC 集群,因为我有 Windows7。我可以成功连接到容器(http://192.168.99.100:8010

的 docker-compose.yml文件是:

Bridge 是使用docker network create hpccbridge 创建的

码头工人ps输出: 在此处输入图像描述

我的IP是:

在此处输入图像描述

我想要的是我的 HPCC 可以访问我的另一台笔记本电脑(类型http://10.55.58.59:8010

怎样才能做到这一点?

0 投票
1 回答
312 浏览

hpcc - 如何在 HPCC / ECL 中将 SET 转换为 DATASET?

我在 ECL 中有这个 SET

...我想将它传递给使用 APPLY 的函数。APPLY 不接受 SET:

"3002: \"tblList\" 附近的语法错误:预期的范围、行集、SELF、SUCCESS、数据行、数据集、字典、模块名、标识符、标识符、函数名、标识符、宏名、'+'、' ^', '(', '['"

我该怎么做?

0 投票
2 回答
88 浏览

phylogeny - 在多少个内核上运行矩阵算法?

我正在运行一个来自 PHYLIP ( http://evolution.genetics.washington.edu/phylip/doc/dnadist.html ) 的名为 dnadist 的程序。这会根据您输入的序列数创建一个 dna 距离矩阵。

目前,我想从 14,778 个序列中创建一个矩阵。我提交此文件以在我大学的 HPCC 上运行,根据我的计算估计需要 10 天才能运行。

我想请求更多的内核来加快时间,但我对这是否可以拆分运行的算法感到困惑?还是必须全部在 1 个核心上运行?我的假设是我必须更改算法本身以溢出正在生成的矩阵,然后将它们全部连接在一起。这是正确的假设吗?

0 投票
1 回答
430 浏览

python - 詹金斯安全地中止子进程

我有一个 Jenkins 工作,它通过来自 Windows 从站的 SSH 在集群上启动一个 python 程序。该程序有一个清理步骤,通过 python finally 语句触发任何类型的异常。我希望在通过 Jenkins Web 界面中止作业时运行此清理步骤,但 Jenkins 似乎强行终止此过程而不让它运行 finally 语句。根据https://wiki.jenkins.io/display/JENKINS/Aborting+a+build ,进程通过 Windows 中的 TerminateProcess API 终止。

有没有办法让詹金斯简单地中断一个子进程并等待它完成?

0 投票
0 回答
47 浏览

python - Python 循环未在 SLURM 中运行

我有一个使用根据 MPI 并行化的函数(我们称之为 integrator_MPI)的 python 代码。我通过提交相关行的作业在 HPCC 中执行此代码:

通过这样做,代码可以正常工作。

但是当我修改我的 python 代码以便多次调用 integrator_MPI() 函数时,

只有在计算中的第一次迭代并且代码永远不会停止运行。这只发生在我尝试在集群上运行它时。在我的笔记本电脑上,循环工作正常。

我应该在作业文件中编写循环还是有办法扭转这种情况?

0 投票
1 回答
49 浏览

c - 编译 HPC Challenge Benchmark 时出现未声明的变量错误

我想在我的服务器上编译和运行 HPC Challenge 基准测试。当我想使用 mpicc 编译器制作 hpcc-1.5.0 时,我收到此错误:

似乎 STREAM 使用了一些未声明的变量。

0 投票
0 回答
29 浏览

python - 使用 bsub 并行化作业

我有一个 python 脚本,通过它我正在使用一个工具来测试大约 20k 个文件。测试的语法是toolname <file_name>我想使用 bsub 并行化它。到目前为止,我已经创建了 20 个批次,每个批次包含 1000 个文件。假设我有所需的队列名称和项目名称,那么 bsub 命令可以是什么。我需要为此使用jobarray吗?如果是,相同的语法是什么?谢谢

0 投票
2 回答
52 浏览

python - 仅在所有 bjob​​s 完成后打印“Jobs Finished”

我有一个使用 bjob​​s 提交多个作业的 python 脚本。下面是代码片段

我只想在所有作业完成后打印“已完成运行”。我该怎么做?

0 投票
0 回答
51 浏览

mpi - 运行 Linpack 时出错

我正在尝试在我的个人笔记本电脑上运行 HPL Linpack。我在虚拟机上使用 CentOS 8。

分配的核心数:6

内存:12.5GB

节点:1

当我使用较小的 N 值运行时,它运行良好,但是当我尝试最大化 CPU 使用率时,使用较大的 N 值(尝试达到 75-80% 的使用率),我每次都会遇到不同的错误。

错误- 在单独运行时弹出所有错误。

使用公式:

N = int((round(sqrt((memory_per_node * 1024 * 1024 * 1024 * 节点)/8))) * percent_usage)