问题标签 [supercomputers]

我可以访问一台我没有超级用户权限的超级计算机。这台机器有 netcdf 版本 3 和 4 可用，但我不知道它是否有 R 安装所需的开发库ncdf。我通常用它来运行并行化的 R 代码。通常我可以将软件包安装到个人库中，效果很好。例如：

我需要这个ncdf包，但是我无法安装它，因为机器找不到一些ncdf依赖的netcdf库。这台机器有 netcdf 版本 3 和 4 可用，但我不知道它是否有 R 安装所需的开发库ncdf，也不知道如何检查。我正在努力争取截止日期，不幸的是管理员无法帮助我解决问题。

这是我尝试安装时发生的情况ncdf：

...（切）

...（切）

有人知道我可以做些什么来使 R 能够找到所需的库吗？

另外，请注意，我更喜欢使用ncdf它ncdf4（为了与现有代码兼容）。但是，当我尝试安装时ncdf4，我收到以下错误消息，这可能具有指导意义：

显然系统找不到“nc-config”。（我自己找不到）。

任何关于我可以做什么，或者我可以要求超级用户为我做什么的建议，将不胜感激。

有时当我在 PBS 集群上运行作业时，我真的很喜欢两个地方的作业日志（-o 文件）。一个用于将所有东西$PBS_O_WORKDIR放在一起，另一个${HOME}/jobOuts/用于 greping/awking/etc...

从命令行进行测试适用于tee：

但是，一旦我尝试将其放入我的 PBS 脚本中，如果我将其放入 PBS 脚本和 qsub 中，它就不起作用

这是 qsub 和错误：

我在下面尝试了其他一些事情 - 没有任何效果。

一个 -o 行（逗号、分号和空格）：

和两行：

两个工作班轮只采用第二个 -o 选项，一个班轮不起作用。

有什么建议么？可能吗？

我无法理解hadoop的真正本质。如果我有足够的资源购买可以处理 PB 级数据的超级计算机，那么我为什么需要 Hadoop 基础架构来管理如此庞大的数据呢？

我正在研究如何知道 MD5 有碰撞，所以它不够安全。我正在寻找一些哈希算法，即使是超级计算机也需要时间来破解。所以你能告诉我什么哈希算法可以让我的密码在未来 20 年的超级计算进步中保持安全。

是否可以在 PBS 文件中的 for 循环中进行并行化？

下面是我的尝试.pbs 文件。我想分配 4 个节点并同时为每个节点分配 16 个进程。我已经成功完成了这项工作，但现在我有 4 个工作，我想向每个节点发送一个工作。（我需要这样做，因为排队算法会让我等待几天在我正在使用的集群上提交 4 个单独的作业）

这些作业独立运行，不使用相同的数据。我可以从同一个 pbs 脚本为每个节点运行 1 个作业吗？

谢谢你。

我正在为我关于超级计算机主题的论文工作进行研究，特别是针对天河二号。所以我正在阅读 Jack Dongarra 教授的报告，他提到了板的 CPM 和 APM 两半：“计算板有两个计算节点，由 CPM 和 APM 两半组成。计算的 CPM 部分板包含 4 个 Ivy Bridge 处理器、内存和 1 个 Xeon Phi 板，而 CPM 一半包含 5 个 Xeon Phi 板”。

所以我遇到的第一件事是计算，作为一个术语，因为我不知道如何翻译计算板，如果那个计算板上有 Xeon Phi 板......哦？第二件事是关于 CPM 和 APM。什么是 CPM 和 APM？他们的全名是什么？它们是如何运作的？

请帮帮我，我坚持下去，在任何地方都找不到解释？

谢谢。塔米

澄清一下，这个 RISC 基础处理器（Tegra K1）是否可以在不对当今的超级计算机程序进行重大更改的情况下使用，并且可能会改变游戏规则，因为它的功率、尺寸、成本和能源使用情况？我知道它会与某些 x64 或 x86 处理器抗衡。用于当前超级计算机的代码能否轻松转换为在这些移动芯片上运行良好的代码？谢谢。

我特别感兴趣的是，为什么跨多个网络将数据传输到多台计算机然后再返回的开销并没有减慢计算过程的速度，以至于超级计算机不会彻底消除分布式系统的计算速度。

我正在使用一段 itertools 代码（谢谢！），如下所示：

问题是我blobs上面的列表包含大约 400 个项目，这意味着生成的列表对象selected将具有数万亿和数万亿种可能的组合（例如 15x15x15x15x15x15x15x15x15）。我对编程并不陌生，但我对处理大型数据集很陌生。我应该寻找什么样的硬件来处理这样的 itertools？是否有任何价格合理的机器可以处理这种类型的事情？显然，我的 Python 技能已经超出了我信赖的 iMac 。. .

我有一个数据集，其中包含大约 2000 个数字图像。我正在使用 MATLAB 执行一些数字图像处理以从图像中提取树木。该脚本当前配置为在n 个内核parfor上循环处理图像。

挑战：
我可以在拥有大约 10,000 个计算核心的大学管理的超级计算机上获得处理时间。如果我提交整个作业进行处理，我会被放回任务队列中，台式计算机可以在超级计算机上开始处理之前完成作业。支持人员告诉我，将 2000 个文件数据集划分为约 100 个文件作业将显着减少任务队列时间。我可以使用什么方法使用parfor循环并行执行任务，同时一次提交 100 个文件（2000 个）？

我的脚本结构如下：