emr - 如何在 Amazon EMR 上启用 HDFS 缓存？

Question

在 EMR 上启用HDFS 缓存的最简单方法是什么？

更具体地说，如何在所有节点上设置dfs.datanode.max.locked.memory和增加“可以锁定到内存中的最大大小”（ ）？ulimit -l

以下代码似乎可以正常工作dfs.datanode.max.locked.memory，我可能会编写一个自定义引导程序来更新/usr/lib/hadoop/hadoop-daemon.sh和调用ulimit. 有没有更好或更快的方法？

elastic-mapreduce --create \
    --alive \
    --plain-output \
    --visible-to-all \
    --ami-version  3.1.0 \
    -a $access_id \
    -p $private_key \
    --name "test" \
    --master-instance-type m3.xlarge \
    --instance-group master --instance-type m3.xlarge  --instance-count 1 \
    --instance-group core --instance-type m3.xlarge --instance-count 10 \
    --pig-interactive \
    --log-uri s3://foo/bar/logs/ \
    --bootstrap-action s3://elasticmapreduce/bootstrap-actions/configure-hadoop \
    --args "--hdfs-key-value,dfs.datanode.max.locked.memory=2000000000" \