3

我正在尝试在 AWS 中创建一个连接到雪花数据库的 lambda 函数。为此,我需要snowflake-connector-python[pandas]包(https://docs.snowflake.com/en/user-guide/python-connector-pandas.html),它连同它的所有依赖项的大小超过 250 MB 未压缩(大约 280兆)。这是一个问题,因为 AWS lambda 允许最多 250 MB 的依赖项(使用 AWS 层)。

包的大小非常令人惊讶,看看最大的违规者是 pyarrow(大约 80 MB)、pandas(大约 60 MB)和 numpy(大约 40 MB)的依赖项。有没有办法减小整个包的大小,只安装相关部分,从而将大小减小到 250 MB 以下?也就是说,我需要能够连接、读取和写入 Snowflake,没什么特别的。

我知道在这些情况下还有其他选择,例如容器,但是如果可能的话,我想避免这种情况。

4

1 回答 1

1

我一直在等待是否有任何答案发布在这个非常有趣的问题上,因为我也遇到过。

据我所知,除了显然使用容器或其他方法之外,没有办法解决这个问题!

于 2022-02-25T20:14:48.257 回答