1

我尝试使用 PygreSQL 模块

import pg
import pgdb

但它说在 AWS Glue Spark 上运行时找不到模块。

他们的开发人员指南https://docs.aws.amazon.com/glue/latest/dg/glue-dg.pdf说它可用于 Python Shell。

其他人可以证实这一点吗？是否有一个页面可以参考 Python 环境默认提供的库？是否有在 Spark Glue 作业上运行的 PostgreSQL 库的替代方案？我知道可以通过导入 S3 并在配置中添加路径来使用外部库，但我想尽可能多地避免手动步骤。

4

1 回答 1

2

您共享的文档正在讨论仅用于 python shell 作业的库。如果您希望在 Glue spark 作业中使用此库，则需要将其打包然后上传到 s3 并将其导入您的 Glue 作业中。

有像 pg8000 这样的替代品，也可以用作外部 python 库。这和这更多地讨论了如何打包它，它也可以与 pygresql 库一起使用。

这还有更多关于如何连接到本地 postgresql 数据库的信息。

于 2020-07-09T02:49:03.837 回答