我正在尝试在 AWS 中创建一个连接到雪花数据库的 lambda 函数。为此,我需要snowflake-connector-python[pandas]
包(https://docs.snowflake.com/en/user-guide/python-connector-pandas.html),它连同它的所有依赖项的大小超过 250 MB 未压缩(大约 280兆)。这是一个问题,因为 AWS lambda 允许最多 250 MB 的依赖项(使用 AWS 层)。
包的大小非常令人惊讶,看看最大的违规者是 pyarrow(大约 80 MB)、pandas(大约 60 MB)和 numpy(大约 40 MB)的依赖项。有没有办法减小整个包的大小,只安装相关部分,从而将大小减小到 250 MB 以下?也就是说,我需要能够连接、读取和写入 Snowflake,没什么特别的。
我知道在这些情况下还有其他选择,例如容器,但是如果可能的话,我想避免这种情况。