问题标签 [hpc]

我在网格和 HPC 空间中做了很多工作，而对于分布在数百台（有时甚至是数千台）服务器上的系统，我们面临的最大挑战之一是分析日志文件。

目前日志文件本地写入每个刀片上的磁盘，但我们也可以考虑使用例如 UDP Appender 发布日志信息并集中收集。

鉴于目标是能够尽可能接近实时地识别问题，我们应该怎么做？

我很想知道是否有人通过使用例如nVidia CUDA编写了利用GPGPU的应用程序。如果是这样，您发现了哪些问题，与标准 CPU 相比，您获得了哪些性能提升？

我想知道在 GPGPU 开发中帮助您的关键是什么，当然还有哪些限制是您无法接受的。

我想到了：

• 关键优势：这些东西的原始力量
• 关键约束：内存模型

你有什么看法？

我正在为一些数据处理开发一个松散耦合的集群。网络代码和处理代码已经到位，但我们正在评估我们方法中的不同方法。现在，正如我们应该做的那样，我们在性能问题上受到 I/O 的限制，我们正在努力减少这个瓶颈。显然，像 Infiniband 这样更快的交换机会很棒，但我们不能承担仅仅扔掉我们拥有的东西并获得新设备的奢侈。

我提出的问题是这样的。在集群上完成的所有传统和严肃的 HPC 应用程序通常都是通过消息传递而不是直接通过套接字发送来实现的。这有什么性能优势？如果我们从套接字切换，我们应该看到加速吗？

我有一个客户项目，其中包括管理 MS Compute Cluster 上的作业。我将在他们的网络之外开发应用程序，并且想要一种无需在他们的网络上就可以开发/调试我的应用程序的方法。

我正在用 C# 开发应用程序，到目前为止我只有 Microsoft Compute Cluster Pack SDK。

I've got processes that need to be farmed out over a cluster that supports PBS, however, due to limitations with the process, I can only run one process per node at a time. Each node has two processors, the ghetto approach would be to simply request two processors per job. But that wastes a core per job. Is it possible to request a single core per job while making sure that only a single process from all of my jobs is running at a time on a given node?

我想知道是否有可供出租的集群。

设想：

我们有一个程序，它将在给定文件上运行我们估计一周的时间（优化后）。很可能，更长。不幸的是，我们还需要处理大约 300 多个不同的文件，从而导致大约300数周的计算时间（可四舍五入到6 年连续运行的工作）。对于一项最迟应在 12 月之前完成的研究工作，这简直是不可接受的。当我们在探索其他选择时，我正在研究简单地租用 Beowulf 集群的选择。这项工作是学术性的，将导致完成博士学位。

理想的情况是我们将源文件和工作文件发送给公司，然后在一两周后收到结果文件。瞧！

快速谷歌搜索并没有发现任何非常有希望的东西。

建议的解决方案？

Portland Group 提供的 CUDA、OpenCL 和 GPU 选项令人着迷……结果令人印象深刻（某些组的速度提高了 125 倍）。听起来下一波 GPGPU 工具有望主宰科学计算世界。但是，我记得在宣布 GLSL 和 Cg 时同样大张旗鼓。

GLSL 和 Cg 发生了什么？是否已放弃支持？人们还在使用 GLSL 和 Cg 在 GPU 上进行通用计算吗？

我们正在用 C# 开发一个 Data Synapse calc 节点进程，该进程需要 Win32 DLL 中的功能。我们构建这个没有问题。

问题是它必须在 Windows 64 位系统上运行，带有适用于 Windows 64 的 Data Synapse 5.1 Grid API。虽然 Windows 64 将使用 WOW 透明地运行大多数进程，但我们不知道 Data Synapse 的 64 位会以某种方式阻止这种情况从工作？

有人做过吗？

2009 年 6 月 8 日：更新。当我们尝试在 win64 网格上运行 win32 服务时，我们遇到了问题，因为在 Win64 上，网格代码内部结构作为 64 位 Java 运行。这个 java 使用 win64 JINI 调用我们的服务来调用我们的服务，该服务被实现为 DLL。不幸的是作为一个 Win32 DLL。

我想在 SVN 存储库中，按需或使用 Cron 作业在 Fortran 二进制文件上设置一些测试用例的自动化测试。为了使问题稍微复杂化，测试用例将在计算集群上运行，因此每个测试用例都需要生成一个 PBS 脚本。(Linux环境)

有很多 Web 测试和单元测试解决方案，但是，我找不到任何可以直接测试二进制文件的东西。说，提供输入，并将输出与预期的解决方案进行比较。

关于如何处理的任何建议？