2

我需要帮助才能将 pyarrow 作为我的 lambda 函数的 lambda 层。我正在尝试读/写镶木地板文件，但出现以下错误，“errorMessage”：“无法找到可用的引擎；尝试使用：'pyarrow'、'fastparquet'。\npyarrow 或 fastparquet 是镶木地板支持所必需的”。

我尝试通过使用以下命令在我的 ec2 中安装 pyarrow 来创建层， pip3 install pandas pyarrow -t build/python/lib/python3.7/site-packages/ --system

但是 zip 文件是用 > 300 mb 创建的，因此我不能将它作为 lambda 层。

任何建议或解决方案。

谢谢，

4

1 回答 1

0

首先，所有的包都需要在一个名为python的目录中，不多不少，你可以压缩整个python目录并上传到lambda。其次，pandas 和 pyarrow 相当大。我确实在一个 lambda 函数中使用了它们，没有任何问题，但恐怕你可能需要将这两个包分成两层才能使其工作。不要使用 fastparquet，它太大了，超过了 lambda 的 250MB 限制。

于 2020-08-17T20:21:04.953 回答