问题标签 [spark-ec2]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
579 浏览

apache-spark - 如何使用 spark-ec2 解决“无法确定实例的主机名”错误?

尝试在 EC2 上启动 Spark 集群,出现错误“无法确定实例的主机名”(将敏感信息替换为*):

由于没有公共 ipv4,我无法 ssh 进入主服务器。我的AWS_ACCESS_KEY_ID& AWS_SECRET_ACCESS_KEYenv vars 配置正确,我的帐户具有完全权限,AFAIK。如何解决此错误?

编辑 1:仅供参考,输入问题https://github.com/amplab/spark-ec2/issues/90

0 投票
0 回答
196 浏览

amazon-web-services - 如何为俄亥俄地区运行 spark-ec2-branch-2 脚本?

我正在尝试运行spark-ec2-branch-2 脚本以在俄亥俄州创建集群。我需要在俄亥俄州创建一个集群,因为俄亥俄州是允许 VPC 对等互连的区域之一。

我已经使用类似的脚本在其他地区建立了一个集群。据我所知俄亥俄州是 us-east-2 (link)。但我收到以下错误:

我猜脚本无法在这个区域建立连接,或者找不到这个区域。但我不明白为什么。无论如何,如果有人可以指导和帮助我在俄亥俄州地区使用脚本设置火花集群,我将不胜感激。提前致谢。

0 投票
0 回答
11 浏览

apache-spark - 无法使用 spark-ec2 在 aws 上创建 spark 集群:每 30 秒重试一次错误

我使用的命令(指定 vpc-id、subnet-id 和 private-ips:

它开始创建节点。但随后出现此错误: