0

谁能告诉我练习 Spark 的最佳方法是什么？我可以看到他们中的大多数都指向安装 Cloudera VM。我发现它很难工作，因为我的系统只有 6GB 的 RAM。这个过程对我来说非常缓慢和烦人。Cloudera Manger 永远不会启动，我相信它是因为它需要 8GB 的​​ RAM。到目前为止，我已经为我的 Windows 操作系统提供了 3 GB 的空间，为我的 VM 提供了 3 GB 空间。有没有办法加快这个过程？或者我可以在 Ubuntu 中安装 CDH 然后使用 spark 吗？（我在我的机器上安装了 Ubuntu，因此我可以为 linux 分配完整的 6GB）。还是我应该购买一台具有 8/16GB RAM 的新机器？

处理器：i5 560M RAM：6GB（5.6 可用）VM：VMPlayer（VMware）

谁能让我知道什么是好的配置？

4

1 回答 1

0

在 6GB 机器 WINDOWS 机器主机上使用 Hadoop 练习 Spark

遵循这些：

  • 在具有 4 GB RAM 的 Oracle VM 盒中安装 Ubuntu 作为访客操作系统（WINDOWS 机器需要 2 GB - 假设您没有在 WIN 中运行任何 CPU/内存密集型任务）
  • 对于 4GB 虚拟机，我强烈建议不要使用 Cloudera 和 Cloudera Manager（他们会在后面推出很多服务）
  • 手动安装 hadoop valina 稳定版 2.4.1（以便您可以控制守护程序）使用此链接进行步骤 - 链接

  • 假设

    • 为来宾操作系统保留的内存 - 1 GB 最小值
    • Hadoop 单节点守护程序的内存 - 2 GB
    • 剩余 1 GB 可用于 spark 学习

  • 然后使用单节点（除了你的虚拟机）以独立模式安装 Spark

希望这些有帮助:)

于 2015-06-04T09:07:44.303 回答