3

我发现 Windows 上的 Hadoop 有点令人沮丧：我想知道对于 Win32 用户是否有任何严肃的 Hadoop 替代品。我最看重的功能是：

  • 易于在小型网络上进行初始设置和部署（如果我们有超过 20 台工作 PC 分配给该项目，我会感到惊讶）
  • 易于管理 - 理想的框架应该具有基于 Web/GUI 的管理系统，这样我就不必自己编写一个。
  • 流行且稳定的东西。奖金取决于我们能否及时交付该项目。

背景：

我工作的公司想要建立一个新的网格系统来运行一些财务计算。

我评估的第一个框架是 Hadoop。这似乎完全符合预期，只是它非常面向 UNIX。我能够在 Ubuntu VirtualBox 上启动并运行所有教程。不幸的是，似乎没有什么可以在 Win32 上轻松运行。

是的... Win32：我们公司的政策是所有东西都必须在 Windows 上运行。服务器管理员（或少数几个开发人员之外的任何人）都不了解 Linux。如果他们找到我的虚拟 Ubuntu 环境，我可能会遇到麻烦！可悲的事实是，我们的网格需要托管在 Win32 上（因为所有测试 PC 都运行 Windows XP 32 位），并且可以选择在将来的某个时间升级到 Win64。

更复杂的是——我们想要运行的 95% 是带有 C++ Windows 32 位 DLL 附加组件的 Python 脚本。我们的计算库绝大多数是用 Python 编写的。我们的计算库不会在 Windows 以外的任何设备上运行……我真的别无选择

4

5 回答 5

2

对于python有：

  • 迪斯科
  • 大节奏
  • celery - 不是真正的 map-reduce 框架，但如果你想要一些非常定制的东西，这是一个好的开始

你可以在pypi上找到一堆 hadoop 客户端/集成

于 2013-11-18T17:01:51.733 回答
1

You could try MPI. It is a standard for message-passing concurrent applications. We are running it on our Linux cluster but it is cross-platform. The most popular implementation is mpich2, written in C. There are python bindings for MPI through the mpi4py library.

于 2011-07-05T17:16:38.130 回答
0

IPython has some parallel computing features that are simple and work on windows. It may be enough for your needs. Here's a good place to start:

http://showmedo.com/videotutorials/video?name=7200100&fromSeriesID=720

于 2011-07-06T14:20:29.680 回答
0

我已经编制了一份云中可用的 MapReduce/Hadoop 产品列表（托管服务，PaaS 级别），这也可能会有所帮助。

于 2012-11-08T09:44:23.563 回答
0

许多分布式计算框架可用于多任务计算。如果您不需要 MapReduce 范式，而是需要跨不同计算机、通信和资源管理分配作业任务的能力，那么您可以看看该领域的其他平台，例如Condor，甚至Boinc；两者都在 Windows 上运行。

您还可以在 Linux 虚拟机上运行 Hadoop。

于 2013-11-18T20:37:34.533 回答