2

简短介绍

我有位于同一个 EC2 实例上的 Apache Superset 和 Apache2 服务器。Apache2 充当代理服务器。它接受 HTTPS 请求并将它们传输到 Apache Superset。Apache Superset 使用gunicorn.

问题

对 Apache Dremio 数据引擎的请求可能需要一些时间（< 60 秒）。在 Superset 上访问仪表板时，使用带有 SSL 的 DNS 名称，通过代理设置，某些仪表板部分（请求）失败并出现以下错误：

Proxy Error
The proxy server received an invalid response from an upstream server.
The proxy server could not handle the request
Reason: Error reading from remote server

ProxyTimeout奇怪的是，尽管默认值非常高，但这些错误可能会在几秒钟内出现。

如果通过 IP 地址访问 Superset，则不会出现此问题。

中的错误消息apache2/error.log：

(20014) Internal error (specific information not available): [client 10.4.26.3:6969] AH01102: error reading status line from remote server localhost:8088, referer: ...

试图解决问题的方法

问题可能与代理服务器超时或 Superset Web 服务器断开一些连接有关。我的 Apache2 配置：

<VirtualHost *:443>
  ProxyPreserveHost On
  ProxyRequests Off
  ServerName dash.domain.com
  ServerAlias dash.domain.com

  SSLEngine on
  SSLCertificateFile /etc/ssl/private/cert.crt
  SSLCertificateChainFile /etc/ssl/certs/cert2.crt
  SSLCertificateKeyFile /etc/ssl/private/key.key

  ProxyPass / http://localhost:8088/ connectiontimeout=3600 timeout=3600
  ProxyPassReverse / http://localhost:8088/

  # things tried
  # SetEnv force-proxy-request-1.0 1
  # SetEnv proxy-nokeepalive 1
  # SetEnv proxy-initial-not-pooled 1
  # ProxyTimeout 3600
  # TimeOut 3600
</VirtualHost>

测试的东西（但不工作）：

  1. Timeout和ProxyTimeout
  2. connectiontimeout和timeout（如上所示）
  3. Keepalive=On代理通行证
  4. 不同的 SetEnv
  5. superset_config.py-> ENABLE_PROXY_FIX，SUPERSET_WEBSERVER_TIMEOUT

此外，使用 构建了类似的代理设置nginx，错误与此处描述的类似。

任何帮助或想法将不胜感激。非常感谢！

有用的信息

Apache Superset 版本：0.37.2

Apache Dremio 版本：4.1.0

Apache2服务器版本：2.4.29

EC2 实例类型：t3.medium

操作系统版本：Ubuntu 18.04

4

2 回答 2

1

问题在于即将死去的 gunicorn异步工作者。来自图表的请求太多，工作人员无法处理它们。将工作类型从异步更改为同步（默认 gunicorn 类型）解决了代理问题。

我仍然不知道为什么通过 IP 直接访问不会产生 502 代理错误。

很抱歉没有gunicorn在问题中包含有关信息。

PS 从他们的文档中推荐的 Apache Superset 工作人员类型是async，但就我而言，同步是更好的解决方案。理论上，同步工作者比异步（在 Superset 上下文中）慢。

于 2020-11-12T16:58:41.037 回答
0

按照这篇详细的文章：https ://www.tessian.com/blog/how-to-fix-http-502-errors/

我们已经尝试了建议的修复（基于 AWS ALB 默认连接空闲超时 = 60s 设置）：

Gunicorn (Python)
As command line arguments:

--keep-alive 65

奇迹般有效！

并解释“为什么通过 IP 直接访问不会产生 502 代理错误”，请查看此 Gunicorn 设置文档： https ://docs.gunicorn.org/en/stable/settings.html#keepalive

Generally set in the 1-5 seconds range for servers with direct connection to the client (e.g. when you don’t have separate load balancer).

由于默认的 keepalive 设置是 2 秒，因此它适用于通过 IP 直接访问。

于 2021-09-07T22:32:13.023 回答