问题标签 [grid-computing]

我正在寻找一个可以轻松嵌入到应用程序中的分布式计算平台。

我调查了 MPI（以及它的一些实现），但据我所见，它涉及为每个任务创建一个可执行文件，并使用mpirun. 我不排除它，我只是希望它嵌入到应用程序中，而不是作为外部可执行文件（如果可能的话）。

SO用户，您知道这样的框架（最好是开源的）吗？另外，为了让我下定决心，一些使用示例会很好。

如果可能的话，我对跨平台解决方案感兴趣，因为 LAN 中要部署解决方案的站点是异构的。

任何建议，尤其是代码示例都非常感谢。

eScience基础设施和网格计算或分布式计算基础设施有什么区别？他们的一些例子是什么。

我无法清楚地区分它们。是如何使用网格使其成为电子科学平台吗？

我正在构建一个分布式系统。有几个应用程序（一些是基于 .Net 的（C#），另一些是基于 C++ 的（不是 C++/CLI！））。这些应用程序将安装在集群中的每台计算机上（当前由 Windows 驱动）。在本地 PC 上我用于 IPC：用于 C# 应用程序的 MemoryMappedFiles、用于 C++ 应用程序的共享内存、用于 C# 和 C++ 之间的 IPC 的命名管道。通过 Internet，我使用 WCF TCP 绑定，使用 C# 应用程序作为 C++ 应用程序的桥梁。

什么会更好地用于 LAN 通信？MPICH2，似乎使用 TCP... 典型的命名管道是否比 WCF TCP 绑定更快（禁用安全性等）？消息将非常大，主要是双重类型。WCF 在我的情况下非常方便（所有数学方法都只是合同），但它的性能是一个问题。

我想写一个分布式软件系统（你可以比在单个电脑上更快地执行程序的系统），它可以执行不同类型的程序。（因为它是一个学校项目，我可能会执行像 Prime finder 和 Pi 这样的程序计算器）

我的偏好是它应该使用 .NET 为 C# 编写，具有良好的文档，编写简单（在使用 .NET 的 C# 中不是新的，但我不专业）并且能够轻松地为网格编写任务和/或直接从 .exe 将程序加载到网络。

我看了一点：

1. MPAPI
2. 利用（来自炼金术的制造商）
3. NGrid（过时？）

哪一个最适合我的情况？你对他们有什么经验吗？

附言。我知道这里有很多类似的问题，但它们要么已经过时，没有正确的答案，要么没有回答我的问题，因此我选择再次提问。

我通过 qrsh 调用在现场实例上使用 OGS。为了让我的程序正常工作，我需要能够知道作业何时因系统关闭而失败（我失去了现场实例）。

如果我们通过 ssh 执行远程命令并且远程系统出现故障，则返回的退出代码为 255。

我的问题是，对于 OGS，当使用 qrsh 执行远程命令并且远程系统出现故障时，返回的退出代码为 0。0 表示“好的，一切都好”。因此，无法从该代码中知道不，这不好，我需要重新安排。

（当然，我可以更改远程调用以返回特定代码，但由于它不是标准的，我宁愿避免这样做。）

据我所知，答案是否定的。OpenCL 专为多核系统而设计。

但是，有没有办法在多台计算机上使用 OpenCL（每台计算机都是一个多核系统）？如果没有，是否需要任何其他工具、框架……？

我读了一些关于分布式计算、集群计算、网格计算的文章……但我找不到满意的答案

任何想法将不胜感激

谢谢 ：）

云计算和网格计算在性能的基础上有何不同。比如说..我有一个本地网格和一个云服务..如果性能是我唯一的标准，那一个会更好！我在云计算和网格计算方面经历了许多差异，但在性能问题上没有发现任何重大问题。

PS :- 我对云计算有点陌生

我被要求创建一个平台来从 Twitter 流 API 下载推文。基本思想是让控制器生成任务，其中包含有关下载内容（关键字）以及如何序列化数据的信息。此任务被发送到远程服务器（相同或不同的网络）以执行任务并定期将推文保存在数据库中。我需要的是这个：

• 控制器：必须与 Fetcher 建立连接才能向它们发送任务。必须验证所有 fetchers 连接。
• Fetcher：应该根据任务关键字从 Twitter 流 API 中检索推文。每个提取器只有一个任务。无需手动注册。只需执行它并运行收到的任务。
• DB：必须定期存储推文的 JSON。由于会有很多 fetcher，我需要一些东西来避免瓶颈。

话虽如此，我正在寻找的是如何实现这一点的好主意。目前我正在使用 SSLSockets 进行验证过程。之后，我关闭套接字并使用 RMI 发布获取器并将注册表存储在服务器（控制器）中。它正在工作......或多或少......但我不确定这样做是否是个好主意。

您对如何实现分布式计算平台有任何想法吗？我应该使用什么？

谢谢你。

我读过几篇文章，暗示 Hadoop 仅设计用于在单个物理位置的集群上工作，而不是用于许多广泛分布的节点（例如，在 Internet 上从多个站点运行分布式集群）。

有没有人有任何尝试跨多个站点使用 Hadoop 的真实经验？我会遇到什么样的问题？还是我最好只使用不同的框架（例如 BOINC）。

我有一个非常大的 ROOT（二进制）格式的数据集，其中包含序列化的 std::vector 对象。每个长度为 N 的向量本质上表示 N 个逻辑对象集合的一个数据成员（这里，N 可能随文件中的每个条目而变化）。例如，对于文件中的每个条目，我都会读取以下对象：

从逻辑上讲，这些平行场代表一个对象。我希望能够处理数据，就好像我有这个：

因此，例如，如果我想从列表中删除某个“Foo”，或者将其转换到位等，我不想跟踪它的所有并行数据成员来进行更改。

我通过 Python 访问序列化对象，使用一个库，该库简单地为我请求的每个条目传递 Python 化的 std::vector 对象。从技术上讲，相同的向量在整个文件访问过程中都存在于内存中；它们被清除并重新填充每个条目的新数据。这是我目前如何物化的草图：

分析后，我发现对象创建和数据从向量复制到 python 对象的所有开销都是处理时间的重要瓶颈。有没有更有效的方法来达到同样的效果？

欢迎就优化的风险或更明智的方法给这只猫剥皮的原则性和明智的建议，但请记住：1）数据集很大（高达 100 TB）；有数百万个条目和数千个不同长度的并行向量（对应于数十个逻辑对象）。2）我对输入数据格式没有任何控制权。