我正在 Google Compute Engine 上设置 Hadoop 集群。但我无法理解集群实例的工作方式。我已经搜索了很多,但没有给出明确的答案。
在设置 Hadoop 集群时,您是否创建一个已安装 Hadoop 的实例的映像,并且每次启动此实例(映像)时,您是否创建其他实例(节点)?
但是这种方法需要每次创建节点时都必须配置节点?
有没有人有这方面的经验并且可以提供一些关于在 Google Compute Engine 上设置部分 Hadoop 集群的文档?
我正在 Google Compute Engine 上设置 Hadoop 集群。但我无法理解集群实例的工作方式。我已经搜索了很多,但没有给出明确的答案。
在设置 Hadoop 集群时,您是否创建一个已安装 Hadoop 的实例的映像,并且每次启动此实例(映像)时,您是否创建其他实例(节点)?
但是这种方法需要每次创建节点时都必须配置节点?
有没有人有这方面的经验并且可以提供一些关于在 Google Compute Engine 上设置部分 Hadoop 集群的文档?
有关在 Google Cloud Platform 上运行 Hadoop 的最新信息可以在这里找到: https ://developers.google.com/hadoop/
在那里,您可以找到 Hadoop 设置脚本,这些脚本允许您根据您指定的配置详细信息快速启动 Hadoop 集群。设置脚本包括使用 Hadoop 分布式文件系统 (HDFS) 作为默认文件系统或 Google Cloud Storage 的选项 - 它提供了额外的功能,例如自动容量扩展和在 Hadoop 集群生命周期之外持久化数据。