7

我在为 xgboost 库创建 lambda 层时遇到问题。我在跑：

我从这里（ https://github.com/alexeybutyrev/aws_lambda_xgboost ）抓取 xgboost 的 zip 及其依赖项并将其加载到图层中。当我尝试测试我的 lambda 时，我收到此错误：

Unable to import module 'lambda_function': No module named 'xgboost.core'

看起来__init__.py正在尝试通过引用 core.pyfrom .core import <stuff>

以前有人在使用 AWS Lambda 时遇到过这个错误吗？

4

2 回答 2

6

编辑：正如@Marcin 所说，提供的第一个答案适用于 262 MB 以下的包。

A. Lambda 层大小限制内的 Python 包

您也可以使用 AWS sam cli 和 Docker（请参阅此链接以安装 SAM cli）来在容器内构建包。基本上，您使用Python运行时初始化默认模板，然后在requirements.txt文件下指定包。我发现它比你提到的文章更容易。如果您想考虑它们以供将来使用，我会让您采取步骤。

1.初始化一个默认的SAM模板

在要保留项目的任何文件夹下，您可以键入

sam init

这将提示一系列问题，为了快速设置，我们将选择快速启动模板，如下所示

1 - AWS Quick Start Templates

2 - Python 3.8

Project name [sam-app]: your_project_name

1 - Hello World Example

通过选择Hello World Example它会生成一个lambda function带有requirements.txt文件的默认值。现在，我们将使用您想要的包的名称进行编辑，在这种情况下xgboost

2.指定要安装的包

cd your_project_name
code hello_world/requirements.txt

因为我有 Visual Studio Code 作为编辑器，这将打开它上面的文件。现在，我可以指定xgboost包

your_python_package

这就是安装 Docker 的原因。一些软件包依赖于C++. 因此，建议在容器内构建（Windows 上的情况）。现在，移动到文件所在的文件夹template.yaml。然后，输入

sam build -u

3. 压缩包

有些文件你不想包含在你的 lambda 层中，因为我们只想保留 python 库。因此，您可以删除以下文件

rm .aws-sam/build/HelloWorldFunction/app.py
rm .aws-sam/build/HelloWorldFunction/__init__.py
rm .aws-sam/build/HelloWorldFunction/requirements.txt

然后压缩文件夹的剩余内容。

cp -r .aws-sam/build/HelloWorldFunction/ python/
zip -r my_layer.zip python/

python/我们根据文档将图层放置在文件夹中的位置 在 Windows 系统上，该zip命令应替换为 Compress-Archive my_layer/ my_layer.zip.

4. 将您的层上传到 AWS

在 AWS 上转到Lambda，然后选择Layers和Create Layer。现在，您可以上传.zip文件，如下图所示

在此处输入图像描述

请注意，对于超过 50 MB 的 zip 文件，您应该将.zip文件上传到 s3 存储桶并提供路径，例如https://s3:amazonaws.com//mybucket/my_layer.zip.

B. 超出 Lambda 层限制的 Python 包

包xgboost本身超过300MB，会抛出如下错误

在此处输入图像描述

正如@Marcin 善意地指出的那样，SAM cli 的先前方法不会直接适用于超过限制的 Python 层。github上有一个未解决的问题，可以在运行时指定自定义 docker 映像，sam build -u以及重新标记默认lambda/lambci映像的可能解决方案。

那么，我们怎么能通过这个呢？我只想指出一些有用的资源。

编辑（2020 年 12 月）

本月 AWS 发布了对 AWS Lambda 的容器镜像支持。遵循项目的下一个树结构

Project/
|-- app/
|   |-- app.py
|   |-- requirements.txt
|   |-- xgb_trained.bin
|-- Dockerfile

您可以使用以下 Docker 映像部署 XGBoost 模型。请按照此repo说明进行详细说明。

# Dockerfile based on https://docs.aws.amazon.com/lambda/latest/dg/images-create.html

# Define global args
ARG FUNCTION_DIR="/function"
ARG RUNTIME_VERSION="3.6"

# Choose buster image
FROM python:${RUNTIME_VERSION}-buster as base-image

# Install aws-lambda-cpp build dependencies
RUN apt-get update && \
  apt-get install -y \
  g++ \
  make \
  cmake \
  unzip \
  libcurl4-openssl-dev \
  git


# Include global arg in this stage of the build
ARG FUNCTION_DIR
# Create function directory
RUN mkdir -p ${FUNCTION_DIR}

# Copy function code
COPY app/* ${FUNCTION_DIR}/

# Install python dependencies and runtime interface client
RUN python${RUNTIME_VERSION} -m pip install \
                   --target ${FUNCTION_DIR} \
                   --no-cache-dir \
                   awslambdaric \
                   -r ${FUNCTION_DIR}/requirements.txt

# Install xgboost from source
RUN git clone --recursive https://github.com/dmlc/xgboost
RUN cd xgboost; make -j4; cd python-package; python${RUNTIME_VERSION} setup.py install; cd;

# Multi-stage build: grab a fresh copy of the base image
FROM base-image

# Include global arg in this stage of the build
ARG FUNCTION_DIR

# Set working directory to function root directory
WORKDIR ${FUNCTION_DIR}

# Copy in the build image dependencies
COPY --from=base-image ${FUNCTION_DIR} ${FUNCTION_DIR}

ENTRYPOINT [ "/usr/local/bin/python", "-m", "awslambdaric" ]

CMD [ "app.handler" ]
于 2020-08-19T04:50:53.293 回答
0

所以我一直无法弄清楚为什么它会以这种方式失败。我发现可行的解决方案是创建一个运行 amazon linux 的 EC2 实例，在那里安装并压缩库，然后保存到 S3。有关详细说明，请参见此处：

https://medium.com/@lucashenriquessilva/how-to-create-a-aws-lambda-python-layer-db2830e08b12

于 2020-08-17T18:40:14.900 回答