问题标签 [rocks]

我正在寻找一种使用廉价电脑（所有相同的硬件）快速轻松地构建计算集群的方法。Rocks 看起来是一个可能的解决方案，但我需要能够在节点上运行 Python 3.4 程序，并且还需要在系统上设置 DISCO。这可能与 Rocks 有关，还是我最好为 DISCO 设置一个集群，而为传统的基于 MPI 的计算设置一个完全不同的集群？易于设置是这里的一个大问题。

我试图能够在我没有 root 访问权限且没有最近的 python3 实现的服务器上同时运行 python2 和 python3。这在我自己的服务器上运行良好，我确实有 root 访问权限，但我无法弄清楚我做错了什么。

作为参考，管理员已在相关的 centos/rocks 系统上安装了 python2 实现，它们有 2.6.6 和 2.7.5 版本。他们还安装了 python 3.3.2，但是我使用 3.4 版中的一些东西，所以我自定义安装了 3.4.3 版并将其放在我的 PATH、LIBPATH 和 PYTHONPATH 中。我专门将那个 python 版本用于我自己的代码，并用 pip 在那里安装库。我已经为设置 PATH、LIBPATH 和 LD_LIBRARY_PATH 的 python3 版本创建了自己的自定义 Rocks 模块。

当我只运行 python3 代码时，一切正常。当我尝试在同一个会话中同时运行 python3 和 python2 代码时，问题就来了。

我在 python3 中编写了代码，该代码进行系统调用以运行 python2 程序¹。问题是，为了运行我的 python3 代码，我将 PYTHONPATH 设置为仅包含 python3 库。如果 python2 库在该 PATH 中，我会收到类似以下的错误：

但是，如果我从 PYTHONPATH 中删除所有 python2 的东西，那么 python2 脚本将失败，并出现如下错误：

我发现避免这种情况的唯一方法是在对 python2 代码的调用中包含显式 PYTHONPATH。这确实有效，但它非常麻烦和丑陋。

我曾经将我所有的 python3 内容保存在 PYTHON3PATH 中，将 python2 内容保存在 PYTHONPATH 中，但现在 python3 似乎完全忽略了 PYTHON3PATH 并且只使用了 PYTHONPATH。

同样，这个问题不会发生在我自己的个人服务器上，它运行 arch linux 并且 python 3.4 和 python 2.7 愉快地并排运行，即使我的 PYTHONPATH 包含两者的目录。

我确定我在这里做了一些愚蠢的事情，但我不知道它是什么。

¹避免愚蠢评论的脚注：python2 脚本不是我编写的，python3 代码是一个简单的作业管理系统，可在远程机器上协调多线程非并行代码。它应该并行运行任何独立程序，但使用 python2 脚本失败。所以我不能只将一个或另一个切换到版本 2 或 3，也不能通过使用 2to3 和导入来合并两者。

我从 DVD 安装 Rocks 6.2 时遇到问题。我正在使用巨型 (DVD)。同时，当一切都开始时，我的 CDROM 正在打开，我得到了“找不到光盘”的信息。但是安装是从这张 CDROM (DVD) 开始的。有人能帮我吗？

我为我的学校项目构建了一个 Rocks 集群，它是矩阵乘法，有一个前端和 5 台其他计算机作为节点。通过 MPI，我向他们发送用于乘法的矩阵部分，然后他们将数据发回。我运行的命令是：

其中 myhostfile 是节点名称及其插槽（线程）编号的文件。我的程序正在运行，我现在正在尝试分析它。

我的问题是我如何才能看到每个节点核心/处理器在他的任务上的工作，所有处理器都在工作，是否存在某种过载？我尝试安装 Vampir profiler 和 Intels Vtune Amplifier，但是我在使用上面的这个命令将它们附加到我的程序时遇到了一些问题（其他命令不允许我在节点的所有线程上运行我的程序）。我所做的一切（看到除了 Ganglia 之外我的节点运行良好）是从前端登录到一个节点并使用命令“top”我可以看到我的程序何时执行线程数和几乎 100% 的 CPU 使用率在每个线程上。

我正在尝试在 Rocks v5.4.3 集群上使用 Sun Grid Engine 调度程序运行并行 MPI 作业。集群有一个名为“all.q”的队列，它有 22 个计算节点：其中 21 个有 8 个 CPU，1 个有 4 个 CPU。但是，当并行作业运行时，它创建的所有任务都被限制在一个节点上。

例如，如果我在作业提交脚本中请求 16 个 CPU（任务）并使用 将作业提交给调度程序qsub，则作业成功启动，但所有 16 个任务都在单个节点（第一个分配的节点）上启动，而不是分配给调度程序分配给作业的节点。

这个测试用例的作业提交脚本如下：

调度程序的输出文件显示作业任务被分配给以下节点：

但是，如果我ssh进入 compute-1-14 并运行toplmp_openmpigrep进程，我会得到以下信息：

这是 16 个进程，而top在 compute-1-16 上运行时显示没有 lmp_openmpi 进程。

我不确定我对这个问题的解释有多彻底，所以如果需要更多信息，请告诉我。我也是 Rocks 和 SGE 的新手，所以希望我的例子足够清楚。如果没有，我会修改。提前感谢大家。

Apache Mesos 和 Rocks Cluster Distribution 都可以用来运行任务和管理集群资源。

它们之间有什么区别，在什么情况下最好选择一个而不是另一个。

据我了解，相似之处是：

• 两者都用于管理集群中的资源
• 两者都可以安装在 RHEL/CentOS 上
• 项目清单

同样的区别是：

• Apache Mesos 还支持 Ubuntu 安装
• Apache Mesos 要求托管任务在容器中运行
• Apache Mesos 允许（尽管不鼓励）在安装框架时在框架之外运行任务
• Rocks Cluster Distribution 将集群视为一台机器（对于用户来说，任务正在集群上运行并不明显）。

为什么有人会在 Rocks Cluster Distribution 上使用 Apache Mesos？

I have changed /etc/security/limits.com and rebooted the machine remotely, However, after the boot, the nproc parameter has still the old value.

Please see that I set max user processes to 4096 but after the reboot, the value is still 1024.

基本上，我一直在开发一款可以让你创造世界的游戏。它非常新，我已经研究了大约 30 分钟。第三方外部程序是 cmdmenusel 和 CHOICE。在岩石场景（ :rocks ）中，当我单击展开时，它会崩溃并显示一条快速消息。你能帮我看看我的代码有什么问题吗？

我有一个 ROCKS 集群，它有 1 个前端和 2 个节点（compute-0-1、compute-0-4）和。我只能在前端运行我的代码，但是当我尝试通过多种方式运行我的代码时：

前端控制台输出

它总是返回我：

• machine_file 位于默认路径中，我试图将它放在我的项目的路径中并包含：

计算-0-1 计算-0-4

¿ 做错了什么？

我正在使用 Kafka 将数据保存到 RocksDB 中。

现在我想看看 Kafka 创建的数据库键和值。我下载了 FastNoSQL 并尝试但失败了。

该文件夹包含：

• .sst 文件
• 。日志文件
• 当前文件
• 身份文件
• 锁定文件
• 日志文件
• 清单文件
• 选项文件

如何查看值？