5

如何使用每个具有 100GB 驱动器的从属服务器启动集群。

./spark-ec2 -k xx -i xx.pem -s 1 --hadoop-major-version=yarn --region=us-east-1 \
--zone=us-east-1b  --spark-version=1.6.1 \
--vpc-id=vpc-xx --subnet-id=subnet-xx --ami=ami-yyyyyy \
 launch cluster-test

我使用了一个大小为 100GB 的 AMI;然而,Spark 调整了它的大小并启动​​了一个 8GB 的​​驱动器。如何将该限​​制增加到 100GB?

4

1 回答 1

1

这解决了问题,但问题仍然寻求答案,以避免首先出现此问题。

原来 EBS 卷是 100GB,但它上面的图像只有 8GB。这就是为什么它只被视为 8GB。为了在磁盘上传播图像,这篇博客详细描述了如何做到这一点。此外,这个SO 答案也很有帮助。

于 2016-09-15T00:06:46.943 回答