我尝试将 apache zeppelin 与 EMR(Spark) Cluster 一起使用。我对使用带有开放防火墙的 apache zeppelin + EMR 集群有一些要求。在工作场所，有被防火墙阻止的静态ip。如您所知，每次使用 aws cli 命令创建 EMR 集群时，都应更改其 IP 和 DNS 名称。那么您知道如何使用固定 IP 将 apache zeppelin 服务器（EC2 实例）与 EMR 集群连接吗？提前致谢。
问问题
1108 次
2 回答
0
我不完全理解你的问题。让我尝试回答这部分问题：“那么您知道如何使用固定IP将apache zeppelin服务器（EC2实例）与EMR集群连接吗？”
这应该可以通过使用以下方法将弹性 ip 与 EMR 集群的主服务器连接起来：http: //docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-cli-commands.html#elastic-ip。
您还可以尝试 qubole 的托管集群和对 spark+zeppelin 的支持。Qubole 通过为您提供访问 zeppelin 笔记本的固定端点来解决此问题。
免责声明：我为 Qubole 工作
于 2015-07-29T11:14:04.780 回答
0
最后，我成功地使用 socat 解决了这个问题或要求。
socat TCP-LISTEN:8080,fork TCP:$EMR_CLUSTER_NAME:8080
socat TCP-LISTEN:8081,fork TCP:$EMR_CLUSTER_NAME:8081
还要检查我修改了一些代码并使用 socat 而不是使用 ssh 隧道的脚本（install-apache-zeppelin-on-amazon-emr.sh ）。
于 2015-07-30T11:09:19.257 回答