问题标签 [supercomputers]

所以我有以下提交脚本：

我想要做的是使用从 1 到 512 的参数运行程序 P6 的 512 个实例，据我所知，上面的提交就是这样做的。然而，在检查 squeue 和 sacct 时，SLURM 似乎为每个任务分配了 512 个 CPU！

我做错了什么？

我试图在 Slurm 上运行一个简单的工作，但收到一条神秘的错误消息：

slurmstepd：错误：未创建任务列表！

我已经运行了数千个与我在这里运行的作业相同的其他作业（使用不同的参数），但只有这一次运行产生了这个错误。有谁知道可能导致此错误的原因？任何帮助，将不胜感激！

这是我的完整工作文件：

我想在超级计算机节点的 3 个独立核心处理器上执行 3 个独立的 bash 命令。我有一个 python 脚本，它通过 os.system 将 bash 命令发送到命令行，但是在转到 python 脚本的下一行之前，它似乎执行了 bash 命令以完成。我只想一个接一个地将bash命令发送到命令行。

我是一名癌症研究人员，我们想知道你们中是否有人知道如何制作一个调用其他 slurm 的 SLURM 脚本。如果上一个脚本成功完成，则继续下一个调用。IE 类似：

我为一个学校项目制作了一台集群计算机。只有我在编写使用所有八个 Raspberry pi 的代码时遇到了一些问题。

https://www.instructables.com/id/How-to-Make-a-Raspberry-Pi-SuperComputer/ 这是我用来制作它的基础。跑步：

输出：Pi 的所有主机名。machinefile 包含 Pi 的所有 IP。运行程序：

输出：它只是在所有 Pi 上单独运行程序。

我怎样才能编写代码或命令来让 Pi 分担程序的负载？

我的目标是让所有 8 个 Pi 一起工作，但不进行相同的计算，从而显着加快处理速度。

我刚刚开始在我的实验室学习生物信息学，我是一个完全的新手。我正在使用来自 NCBI 的名为 Kofamscan 的基因组注释工具，我收到一个错误，这可能是由于多个进程的结果存储在同一个临时目录中并且文件正在崩溃。所以我想为每个进程创建单独的临时目录（temp1 用于 process1，temp2 用于 process2，...等），但我不知道如何编写启用它的代码。

我可能需要在****上面的代码部分写一些东西，但我不知道如何写它们。

先感谢您。

良平

是否有可用于在超级计算机（远程 CPU 集群）上运行简单 VBA 脚本的软件/服务/硬件？ 我的意思是无需安装复杂的官方 HPC Excel 扩展并花时间学习它...

我的意思是像这样易于使用的东西：

上周，谷歌发表了一篇名为《使用可编程超导处理器的量子霸权》的论文，其中吹嘘：

我们的 Sycamore 处理器需要大约 200 秒来对一个量子电路实例进行一百万次采样——我们的基准目前表明，最先进的经典超级计算机的等效任务大约需要10,000 年。

一万年是怎么估算的？

有谁知道如何摆脱'\ r'？

我要在超级计算机中运行89个文件，到目前为止我已经完成了接下来的两个脚本

第一个是 .sh 在 shell 上运行它

其中 ID_index 文本表示从 1 到 89 个数据文件的索引

然后我在python中有下一个脚本

因为读取数据文件的输出链接返回一个空格，所以这是错误：

df_1 = pd.read_table(ID_1_info, delim_whitespace=True, header=None) 文件“pandas/io/parsers.py”，第 685 行，在 parser_f 返回 _read(filepath_or_buffer, kwds) 文件“pandas/io/parsers.py”，第 457 行，在 _read parser = TextFileReader(fp_or_buf, **kwds) 文件“pandas/io/parsers.py”中，第 895 行，. . . pandas._libs.parsers.TextReader._setup_parser_source FileNotFoundError：[Errno 2] 文件 b'1\r_sample_cases.lgen' 不存在：b'1\r_sample_cases.lgen'

要读取的数据的原始名称是 1_sample_cases.lgen

如何删除 '\r' 或至少替换它们以使结果看起来像数据文件的名称？我确实阅读了很多关于此的答案，但没有任何帮助。

希望有人可以帮助我。谢谢，

啤酒。

我正在尝试运行两个 python 脚本，如下所述。

此代码旨在从文件的特定 URL 下载数据。

years = ["2013","2014","2018","2019"] 年份：代码（年份）

在这种情况下，代码是下载功能。我想下载多年的数据。在普通电脑上，每年下载大约需要 26 小时。

此代码旨在处理从上述代码下载的数据。在执行此代码之前，上述代码应该已经执行完毕。

years = ["2013","2014","2018","2019"] 年份：数据（年份）

在这种情况下，数据是数据处理功能。我想下载多年的数据。在普通电脑上，每年下载大约需要 24 小时。

所以我可以访问一台超级计算机，它可以让我使用 10 个节点，每个节点有 36 个核心，每个节点总共有 360 个核心，并且可以一次运行 4 个作业，最长可达 24 小时。

我打算在一个队列中运行两个作业，即首先下载数据，第二个作业是处理数据。我打算使用多个内核和节点来优化地最小化下载和处理每一年数据的执行时间。我被告知需要将多个核心和节点的使用集成到实际代码中。

对于如何根据可用资源最小化执行时间以及如何在代码中实现它的任何建议，我将不胜感激。我查看了多处理库，但无法完全实现它。

数据从下面的链接下载。drive.google.com/open?id=1TdiPuIjj7u-arACMPh5yVeegcJ-y3fLr 每年的数据大约是 6 GB，我认为下载时间太长只是因为代码必须检查每个 URL 是否有效并且它每年通过大约 100,000 个 URL。我希望使用超级计算机可以让我在 1 年内同时下载所有年份。下载代码。drive.google.com/open?id=1TdiPuIjj7u-arACMPh5yVeegcJ-y3fLr

数据处理代码只是通过将数据转换为 csv 文件，然后使用 pandas 来应用过滤器和阈值来处理数据。我希望同时处理所有这些年。该代码花费的时间太长，因为它每年要处理大约 100,000 个文件。我希望在超级计算机上同时处理所有这些年。