2

我在 AWS Lambda 上运行 Django，连接到 RDS 上的 MySQL。大多数时候一切都很好。

但是，如果峰值执行 10000 个并发请求，则会产生许多 Lambda 容器，并且每个容器都会打开一个数据库连接，该连接最终将超过 RDS 连接限制。（根据https://serverfault.com/questions/862387/aws-rds-connection-limits）

什么是最好的策略（如果有的话）可以在不丢失 SQL 的情况下实现网络规模。一些想法：

  • 有没有办法限制 AWS 容器的数量以鼓励/强制重复使用而不是产生更多？（例如，将最大 lambda 容器设置为数据库连接限制的某个比例）。如果达到容器限制，则连接可能会等到热 aws 容器可用。
  • API Gateway 可以检测到连接到 Lambda 的峰值和延迟吗？这将允许通过重复使用不会创建过多数据库连接的热容器来完成大部分工作。我知道 API Gateway 允许节流，但这非常粗略，除了丢弃超过限制的连接之外不能做任何事情。
  • 自由使用 MySQL/RDS 只读副本
4

3 回答 3

4

在 2017 年 11 月的 AWS 会议之后，http ://docs.aws.amazon.com/lambda/latest/dg/concurrent-executions.html说：

您可以选择为函数设置并发执行限制。

访问页面了解详情。

在宣布每个功能的并发控制之前，我在下面发布了答案：

您可以依赖 AWS 最大并发 Lambda 执行次数，然后如果您的 RDS 上的最大连接限制至少为 1000，那么这不会有问题。换句话说，AWS 将在 RDS 上的 MySQL 限制您之前限制您的 Lambda 并发。根据实例大小，对于 MySQL 上的最大连接数，1000 并不是一个不寻常的值。

如果您在 RDS 上使用默认的最大连接数，则必须至少使用 db.m3.xlarge 或 db.r3.large（请参阅AWS RDS 中的 max_connections 值）。但是您可以更改参数组中的最大连接数（感谢@Michael-sqlbot 对此信息的评论）。

如果您想为您的特定 Django 应用程序限制您自己的并发执行，我还有另一个想法。注意：我没有尝试过，我只是想到了它。

假设您想要不超过 75 个并发执行。

  1. 创建一个 SQS 队列，并用 75 个条目填充它。您在队列中放入什么值并不重要，重要的是数量。
  2. 在您的 Lambda 函数中，在您打开与 MySQL 的连接之前，从 SQS 队列中提取一项。如果队列中有东西，它会立即返回。如果队列为空，您的 Lambda 将阻塞，直到将值插入队列。
  3. 就在您的 Lambda 函数退出之前，关闭 MySQL 连接，然后将一个值推回 SQS 队列。

因此，如果您有 75 个 Lambda 函数正在运行，则第 76 个请求将不得不等到其中一个 Lambda 函数将值恢复回队列中。

此架构允许您将规模控制到您想要的任何最大并发性，AWS 规定的每个区域最多 1000 个。只需使用不同数量的项目启动 SQS 队列。您甚至可以在不重新部署 Lambda 代码的情况下增加或减少限制，只需在队列中添加或删除一些项目即可。

您还可以允许不同的 Lambda 函数拥有自己的“池”，因为例如您可能有不同的 Django 应用程序连接到它们自己的 RDS 实例。只需为每个“池”创建一个新的 SQS 队列，并确保不同的 Lambda 函数使用正确的 SQS 队列。

我认为如果任何 Lambda 在将其值恢复到 SQS 队列之前中止，您会看到队列逐渐耗尽并最终变空。理想情况下，队列的长度会循环收缩和增长。但如果长度骤降至零，则可能表明您的 Lambda 代码正在崩溃。您可能希望使用 CloudWatch 为此设置某种警报。

于 2017-10-23T22:33:41.010 回答
4

从 2019 年 12 月开始，您可以使用RDS 代理解决并发 lambda 执行与 MySQL RDS 连接数不成比例的问题。

RDS 代理实际上做的是连接池（Lambda 不能自己做），但是请注意，与 RDS 代理相关的额外成本。

参考：https ://aws.amazon.com/blogs/compute/using-amazon-rds-proxy-with-aws-lambda/

于 2019-12-13T10:43:23.517 回答
3

有没有办法限制 AWS 容器的数量以鼓励/强制重复使用而不是产生更多？

不

API Gateway 可以检测到连接到 Lambda 的峰值和延迟吗？

不

自由使用 MySQL/RDS 只读副本

在不完全脱离关系数据库的情况下，这是您的最佳选择。或者将您的 Django 应用程序移回更传统的 EC2 Web 服务器并使用数据库连接池。

于 2017-10-23T19:53:48.167 回答