问题标签 [aws-glue-connection]

我正在使用 AWS 胶水 python shell。该程序使用多个 Python 库，这些库本身不适用于 AWS。Glue 可以将 .egg 或 .whl 文件用于外部库参考。我们需要做的就是将这些 .egg 或 .whl 文件放在某个 S3 位置，并使用它的完整路径指向它。我尝试使用一个外部库 [例如 openpyxl] 并且它有效。现在的问题是，由于我有多个外部库，如 pandas、numpy、openpyxl 和 pytz 可供参考，我无法提供所有这些包的完整路径，因为只有路径可以指定为外部 python 库引用。我尝试给出放置所有这些包的 s3 文件夹名称，但它不起作用。

如何指定这些多重 .egg 或 .whl 文件，以便我的胶水作业可以使用它们。

我想使用我将在 AWS Glue 上执行的 python 脚本连接到 Microsoft SQL Server。我在安全配置->脚本库->作业参数（可选）部分添加了 JOb 参数，如下所示：

当我执行作业时，出现以下错误：

我也尝试了 python2 和 python3 轮子，但同样的错误！

我有什么：区域 A 中的 AWS Glue 连接，区域 B 中的 RDS MySQL 数据库。我想配置从 AWS Glue 到数据库的访问。

我在两个区域之间进行了对等。用于 AWS Glue 连接的安全组符合VPC 要求。附加到数据库的安全组允许来自子网的入站连接用于 Glue 连接。它还包含 NAT 网关和整个子网 CIDR 的规则。

error日志组的输出是

output日志组的输出是

如何找到网络链中配置错误的元素？我不确定连接错误是否与 JDBC URL 有关。

我正在尝试在我的 Glue 实例中建立一个 MongoDB 连接。它要求提供数据库 URL 和密码/用户名。我想连接的数据库没有凭据（它与 Glue 实例在同一个 VPC/SG 中），但表单要求它们。如果我输入了虚拟值，那么我可以提交表单，但连接失败，可能就像在你不应该提供密码时使用 mongodb shell 一样

我正在使用 Apple M1 Pro Mac 并尝试使用 Docker 容器在本地开发 AWS Glue 作业，而不使用 AWS 控制台。我一直在阅读AWS的这篇博客文章，我已经从 DockerHub 中提取了amazon/aws-glue-libs: glue_libs_3.0.0_image_01 并运行命令docker run -itd -p 8888:8888 -p 4040:4040 -v ~/.aws:/root/.aws:ro --name glue_jupyter amazon/aws-glue-libs:glue_libs_3.0.0_image_01 /home/jupyter/jupyter_start.sh。Docker 容器运行但发出警告WARNING: The requested image's platform (linux/amd64) does not match the detected host platform (linux/arm64/v8) and no specific platform was requested，没有输出日志，并且 http://localhost:8888 不起作用。如果我运行该命令docker exec -it glue_jupyter bash，它将挂起大约 20 分钟并最终给出以下错误并以代码 127 退出：

我正在尝试通过胶水作业访问在 on-prmisis 上运行的配置单元

由于 hive 使用需要身份验证的 jdbc 连接，我在作业中附加了证书（certificate.pem）（使用连接）并尝试使用以下代码加载表：

胶水版本：2火花：2.4

但工作返回以下错误：

如何解决这个问题？