3

我正在尝试使用开发端点以交互方式运行和编辑 ETL 脚本,但是在创建它之后开发端点中似乎存在一些问题,因为我在 scala/python REPL 中遇到错误并且也无法对远程解释器进行 SSH 隧道。让我解释一下我到底做了什么——我在 AWS 控制台中使用所有默认配置创建了一个开发终端节点。在创建开发端点时,我只提供了三件事“开发端点名称”和“IAM 角色”以及我的“pub ssh 密钥”。这是创建后的样子

在此处输入图像描述

然后在创建端点后,我连接到 spark/python REPL,我能够成功连接到它们,但在连接后几分钟内,REPL 开始抛出错误,而无需编写任何代码。这发生在开发端点中存在的所有 REPL 中。

在此处输入图像描述

此外,当我尝试对远程解释器进行 SSH 隧道连接以连接我的本地 Zeppelin 笔记本时,它会抛出 - “绑定:无法分配请求的地址”。

有几件事情虽然有效 -

  • 能够对端点执行 ssh。
  • 在连接到这个开发端点的 AWS 胶水中创建了一个 Sagemaker 笔记本,这个笔记本似乎工作正常,尽管它肯定会增加额外的成本,我不想继续使用它。

谁能帮助我做错了什么?在创建开发端点后,我是否遗漏了需要在机器上完成的任何重要步骤?

提前致谢!

4

1 回答 1

1

不太确定这个错误,但如果您使用的是较小的数据集,那么您可能希望使用 Docker 实现,因为它不会增加任何额外的成本,您可以继续您的开发。

您可以参考此博客了解如何设置

https://towardsdatascience.com/develop-glue-jobs-locally-using-docker-containers-bffc9d95bd1

于 2020-07-16T15:19:49.710 回答