1

我正在研究一个将在云上运行的搜索引擎设计。我们才刚刚开始，对 Hdoop 了解不多。谁能告诉 HBase、MapReduce 和 HDFS 是否可以在安装并运行 Hdoop 的单台机器上工作？

4

3 回答 3

2

同样在这里，我在单台计算机上运行 hadoop/hbase/hive。如果您真的想在单台计算机上看到分布式计算，请占用大量 RAM，一些硬盘空间，然后像这样 -

  1. 制作一两个虚拟机（使用虚拟盒子）
  2. 在他们每个人上安装hadoop，让你真正的安装（不是任何虚拟的）作为主人，休息奴隶
  3. 为真实分布式环境配置hadoop
  4. 现在当 hadoop 启动时，你实际上应该有一个由多台计算机组成的集群（一台真实的，其余的虚拟机）

这可能只是一个实验，因为除非你有一个像样的多 CPU 或多核系统，否则这样的配置实际上会消耗更多的维护本身而不是给你任何性能。

祝你好运。

--l4l

于 2010-09-27T07:25:07.203 回答
2

是的。在我的开发环境中，我运行

  • 名称节点（HDFS）
  • 次要名称节点 (HDFS)
  • 数据节点（HDFS）
  • JobTracker (MapReduce)
  • 任务跟踪器 (MapReduce)
  • 大师（HBase）
  • 区域服务器（HBase）
  • QuorumPeer（ZooKeeper - HBase 需要）

此外，我运行我的应用程序，并映射和减少由任务跟踪器启动的任务。在同一台机器上运行这么多进程会导致 CPU 内核、内存和磁盘 I/O 的大量争用，因此对于高性能来说肯定不是很好，但除了可用资源量之外没有限制。

于 2010-09-17T19:47:13.190 回答
2

是的你可以。您甚至可以创建一个虚拟机并在一台“计算机”上运行它（这就是我所拥有的 :)）。

关键是简单地以“伪分布式模式”安装 Hadoop，这在Hadoop 快速入门中也有描述。

如果您使用 Cloudera 发行版，他们甚至会在 RPM 中创建所需的配置。在这里查看更多信息。

高温高压

于 2010-09-20T18:33:21.530 回答