问题标签 [distributed-computing]

我在网格和 HPC 空间中做了很多工作，而对于分布在数百台（有时甚至是数千台）服务器上的系统，我们面临的最大挑战之一是分析日志文件。

目前日志文件本地写入每个刀片上的磁盘，但我们也可以考虑使用例如 UDP Appender 发布日志信息并集中收集。

鉴于目标是能够尽可能接近实时地识别问题，我们应该怎么做？

我对这个论坛有很大的怀疑，但我愿意惊喜；）对那些让我重回正轨的人表示敬意和巨大的业力。

我正在尝试使用 JavaSpaces ( http://www.dancres.org/blitz/blitz_js.html ) 的 blitz 实现来实现http://today.java.net/pub/a/today/提供的 ComputeFarm 示例2005/04/21/farm.html

内存中的示例工作正常，但是每当我尝试使用 blitz 开箱即用的实现时，我都会收到以下错误：

（是com.sun.jini.mahalo.TxnMgrProxy的在类路径中）

有没有人有将分布式系统开发为网格的经验？

我所说的网格是指一个分布式系统，其中所有节点都是相同的，没有中央管理、数据库等。

网格如何实现均匀分布：CPU、内存、磁盘、带宽等？

我有很多备用的英特尔 linux 服务器（数百台），并希望将它们用于网络托管和文件共享环境中的分布式文件系统。这不适用于 HPC 应用程序，因此高性能并不重要。主要要求是高可用性，如果一台服务器离线，存储在其硬盘上的数据仍然可以从其他节点获得。它必须通过 TCP/IP 运行并提供标准的 POSIX 文件权限。

我看过以下内容：

• Lustre ( http://wiki.lustre.org/index.php?title=Main_Page )：非常接近，但它不为节点上的数据提供冗余。您必须使用 RAID 或 DRBD 使数据成为 HA。由 Sun 和开源支持，因此应该存在一段时间

• gfarm（http://datafarm.apgrid.org/）：看起来它提供了冗余，但以复杂性和可维护性为代价。不如 Lustre 得到很好的支持。

有没有人对这些或任何其他可能有效的系统有任何经验？

我经常看到自己需要在公司之间设置消息/数据/文件的自动传输。

除了可怕的 EDIFACT、Odette 和其他一些“大”电子数据交换标准，每个行业都有几十个甚至几百个相对健全的相对轻量级、相对完善的订单文件格式等。

我缺少的是在机器之间移动这种格式的文件的正确协议。协议应该支持

1. 验证
2. 可与 MS Windows 和 unix 上的标准工具一起使用
3. 支持事务，例如：文件已传输或未传输。但它永远不会在半传输状态下收到。
4. 传输加密
5. 防火墙友好
6. 一种“捆绑”的方式，例如 xml 描述和一堆 PDF。

今天基本上每个人都回退到 FTP。但是 FTP 服务器很难满足要求 3、5 和 6。

有没有更好的办法？像Amazon SQS这样的东西可以用来从一家公司向另一家公司发送消息吗？

澄清：我的意思是中小型公司。我们的合作伙伴通常没有内部开发人员，有时甚至没有内部 IT 人员。因此，至少需要在连接的一侧进行绝对最小的设置工作。

如今，使用商用硬件实现 TB 级分布式内存缓存会是最具成本效益的方式吗？什么是商品硬件？

Are there real practical uses of JavaSpaces technology out there and how exactly is it implemented?

该游戏是一款低图形（SVG）战略游戏。每个服务器代表一个游戏域及其玩家。所有服务器都应该能够相互交谈，因为玩家可以（在游戏中）从一个域移动到另一个域/发送“外交信使”等。

我们选择了这个想法，因为它使我们能够无休止地扩大世界地图，它使第二方能够将他们的游戏服务器连接到我们，并且让他们更加扩大世界。如果一台服务器（及其备份）出现故障，游戏仍将继续运行（真正的分布式环境）。

我们才刚刚开始。我们应该关注哪些平台，这将有助于我们开发这样一个世界？

我必须使用 MPI 构建分布式应用程序。我必须做出的决定之一是如何将类的实例映射到进程中（然后映射到机器中），以便从分布式环境中获得最大的优势。

我的问题是：有一个模型可以让我选择更好的映射吗？我的意思是，有些安排肯定是错误的（例如，将两个对象放入两台不同的机器中，这两个对象应该以顺序方式一起处理相当大量的数据，没有要处理的令牌流），但是有一种系统的方法确定这样的错误安排，由执行流程、消息复杂性、算法组件完成的计算所花费的时间决定？

有没有办法控制 Hadoop Streaming 作业的输出文件名？具体来说，我希望我的工作的输出文件内容和名称由减速器输出的 ket 组织 - 每个文件只包含一个键的值，它的名称就是键。

更新：刚刚找到答案 - 使用从 MultipleOutputFormat 派生的 Java 类作为作业输出格式允许控制输出文件名。 http://hadoop.apache.org/core/docs/current/api/org/apache/hadoop/mapred/lib/MultipleOutputFormat.html

我还没有看到任何示例...任何人都可以指出使用自定义输出格式 Java 类的 Hadoop Streaming 示例吗？