0

我们从 Glue 作业中收到错误消息(如下):

错误[main]glue.ProcessLauncher(Logging.scala:logError(70)):来自Python的错误:Traceback(最后一次调用):文件“/opt/amazon/spark/python/lib/pyspark.zip/pyspark/sql /utils.py”,第 63 行,在 deco 中返回 f(*a, **kw) 文件“/opt/amazon/spark/python/lib/py4j-0.10.7-src.zip/py4j/protocol.py” ,第 328 行,get_return_value 格式(target_id, ".", name), value) py4j.protocol.Py4JJavaError: 调用 o87.sql 时出错。:org.apache.spark.sql.AnalysisException:java.lang.RuntimeException:com.amazonaws.SdkClientException:无法执行HTTP请求:连接到glue.us-east-1.amazonaws.com:443 [glue.us-east -1.amazonaws.com/52.22.189.191、glue.us-east-1.amazonaws.com/52.203.19.126、glue.us-east-1.amazonaws.com/35.171.38.177、glue.us-east-1 .amazonaws.com/3.232.31.188,glue.us-east-1.amazonaws.com/3.230。

我们在子网是私有的胶水作业中有一个胶水连接。安全组具有以下入站和出站规则:

  • 入站:ALLTCP 自引用
  • 出站:ALLTCP 自引用、PORT 443 ipv 4 和 PORT 443 ipv6

当我取下胶水连接时,我的工作就成功了。我不太明白何时需要 Glue 连接......在我们的例子中,Glue 作业执行了一系列转换,然后将输出存储在 S3 中。有人可以提供有关为什么没有连接就可以工作的信息吗?谢谢你。

4

0 回答 0