我在我的mac机器上创建了虚拟盒子,ubuntu 14.04LTS环境。在 ubuntu 的虚拟盒子中,我创建了三个 lxc 容器的集群。一个用于主节点,另外两个节点用于从节点。
在master上,我已经使用以下链接开始安装CDH5 http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
我还在 /etc/hosts 中进行了必要的更改,包括 FQDN 和主机名。还创建了名为“ubuntu”的无密码用户。
在设置 CDH5 时,在安装过程中,我经常在 datanodes 上遇到以下错误。最大锁定内存大小:dfs.datanode.max.locked.memory 922746880 字节大于数据节点的可用 RLIMIT_MEMLOCK ulimit 65536 字节。
Exception in secureMain: java.lang.RuntimeException: Cannot start datanode because the configured max locked memory size (dfs.datanode.max.locked.memory) of 922746880 bytes is more than the datanode's available RLIMIT_MEMLOCK ulimit of 65536 bytes.
at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:1050)
at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:411)
at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2297)
at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2184)
at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2231)
at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2407)
at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2431)