2

背景:

我们正在运行一个通过 nginx 提供服务的单页应用程序,其中 node js (v12.10) 后端运行 express。它通过 ECS 作为容器运行,目前我们正在运行三个 t3a 介质作为我们的容器实例,其中每个运行 6 个副本的 api 和 Web 服务。我们使用 ALB 来处理我们的负载平衡/请求路由。我们在 3 个 AZ 上运行三个子网,负载均衡器与所有三个相关联,并且实例也分布在 3 个 AZ 上。

问题:

我们正试图找出一些间歇性 502 错误的根本原因,这些错误同时出现在前端和后端。我已经下载了 ALB 访问日志,所有这些请求的有趣之处在于它们都显示以下内容。- request_processing_time:0.000 - target_processing_time:0.000(有时这将是 0.001 或最多 0.004) - response_processing_time:-1

在出现这些错误时,我可以看到有可用的健康目标。

现在我知道有些人在服务器端比 ALB 端更短的 keepAlive 时间遇到了这样的问题,因此连接被强制关闭,然后 ALB 尝试重用(这符合故障排除指南在 AWS 上)。然而,当查看我们后端的 keepAlive 时间时,它们设置为比我们当前的 ALB 高一倍。此外,请求本身可以通过 chrome 开发工具重放并且它们成功(我不确定这是否是检查格式错误请求的有效方法,这似乎是合理的)。

我对这个领域非常陌生,如果有人对在哪里寻找或运行什么样的测试有一些建议,这可能有助于我查明这个问题,我将不胜感激。我在某些端点上运行了一些负载测试并复制了 502 错误,但是重负载下的错误与我在日志中看到的间歇性错误不同,因为 target_processing_time 非常高,所以在我看来,这完全是另一个问题。在这个阶段,我想了解显示 target_processing_time 基本上为零的错误。

4

1 回答 1

2

一年多前,我写了一篇关于这个的博客文章,可能值得一看(由于 NodeJS 8+ 中的行为变化):

https://adamcrowder.net/posts/node-express-api-and-aws-alb-502/

TL;DR 是您需要将 nodejs http.Server keepAliveTimeout(以毫秒为单位)设置为高于负载均衡器的空闲超时(以秒为单位)。

另请注意,还有一个叫做 http-keepalive 的东西,它设置了一个 http 标头,它与这个问题完全没有关系。确保您设置正确。

另请注意,nodejs 中当前存在回归,其中设置keepAliveTimeout可能无法正常工作。此处正在跟踪该错误:https ://github.com/nodejs/node/issues/27363 ,如果您仍然遇到此问题(您可能还需要设置headersTimeout),则值得查看。

于 2020-03-13T04:43:57.943 回答