0

我正在部署一个使用 BERT 制作的无服务器 NLP 应用程序。我目前正在使用无服务器框架和 AWS ECR 来克服 250 MB 的 AWS Lambda 部署包限制（PyTorch 已经占用了超过该空间）。

我对这个解决方案非常满意，因为它让我可以简单地对我的应用程序进行 docker 化，将其上传到 ECR，而无需担心其他任何事情。

我的一个疑问是我应该在哪里存储模型。我的应用程序使用 3 个不同的保存模型，每个模型的大小为 422 MB。我有两个选择：

  1. 将我的模型复制到 docker 映像本身中。

    • 优点：如果我重新训练我的模型，它将在我重新部署应用程序时自动更新，并且我不必使用 AWS 开发工具包从 S3 加载对象
    • 缺点：Docker 镜像非常大

  2. 将我的模型存储在 S3 中：

    • 优点：图像大小比其他解决方案小（1+ GB vs 3+ GB）
    • 缺点：如果我重新训练我的模型，我需要在 S3 上手动更新它们，因为它们与应用程序部署管道分离。我还需要使用 AWS SDK 从 S3 加载它们（可能会增加一些开销？）。

所以我的问题最终是：在这两种解决方案中，哪一种是最佳实践？为什么，为什么不呢？是否有最佳实践，还是基于偏好/需要？

4

1 回答 1

2

第三个选项可能对您很有帮助：将您的模型存储在 EFS 卷上。

EFS 卷就像您可以附加到 Lambda 的附加硬盘驱动器。它们几乎可以像您想要的那样大。

训练模型后，只需将其复制到 EFS 卷。您将 Lambda 配置为在 EFS 卷启动时挂载该卷，瞧，您的模型无需任何模糊即可使用。不能从 S3 复制或将其放入 Docker 映像中。并且同一个 EFS 卷可以同时挂载到多个 Lambda。

要了解更多信息，请阅读：

更新 25.08.2021

用户 @wtfzamba 尝试了此解决方案，但遇到了其他人可能感兴趣的限制：

我确实尝试了您建议的解决方案。它运作良好，但只是在一定程度上，我指的是性能。在我的情况下，当我进行批量分类时，我需要能够同时启动约 100 个 lambda，以加快该过程。问题是 EFS 吞吐量上限不是每个连接，而是总数。因此，我被允许的 300MB/s 突发吞吐量似乎由每个 lambda 实例共享，此时甚至在能够将模型加载到内存之前就超时了。

选择此选项时请记住这一点。

于 2021-07-04T08:45:45.207 回答