我们有一个 32 核的大型 EC2 实例，目前运行 Nginx、Tornado 和 Redis，平均每秒处理 5K 请求。一切似乎都运行良好，但 CPU 负载已经达到 70%，我们必须支持更多请求。其中一个想法是用 uWSGI 替换 Tornado，因为我们并没有真正使用 Tornado 的异步特性。
我们的应用程序由一个函数组成，它接收一个 JSON（~=4KB），做一些阻塞但非常快的东西（Redis）并返回 JSON。
- 将 HTTP 请求代理到 Tornado 实例之一 (Nginx)
- 解析 HTTP 请求 (Tornado)
- 读取 POST 正文字符串（字符串化 JSON）并将其转换为 python 字典（Tornado）
- 从位于同一台机器上的 Redis（阻塞）中取出数据（py-redis 和hiredis）
- 处理数据（python3.4）
- 在同一台机器上更新 Redis (py-redis 和hiredis)
- 为响应准备字符串化 JSON (python3.4)
- 向代理发送响应 (Tornado)
- 向客户端发送响应（Nginx）
我们认为速度的提高将来自 uwsgi 协议，我们可以将 Nginx 安装在单独的服务器上，并使用 uwsgi 协议将所有请求代理到 uWSGI。但是在尝试了所有可能的配置并更改了操作系统参数之后，即使在当前负载下，我们仍然无法让它工作。大多数时候 nginx 日志包含 499 和 502 错误。在某些配置中，它只是停止接收新请求，就像它达到了某些操作系统限制一样。
正如我所说，我们有 32 个内核、60GB 可用内存和非常快的网络。我们不做繁重的事情，只做非常快速的阻塞操作。在这种情况下，最好的策略是什么？进程、线程、异步？应该设置哪些操作系统参数？
目前的配置是：
[uwsgi]
master = 2
processes = 100
socket = /tmp/uwsgi.sock
wsgi-file = app.py
daemonize = /dev/null
pidfile = /tmp/uwsgi.pid
listen = 64000
stats = /tmp/stats.socket
cpu-affinity = 1
max-fd = 20000
memory-report = 1
gevent = 1000
thunder-lock = 1
threads = 100
post-buffering = 1
Nginx 配置：
user www-data;
worker_processes 10;
pid /run/nginx.pid;
events {
worker_connections 1024;
multi_accept on;
use epoll;
}
操作系统配置：
sysctl net.core.somaxconn
net.core.somaxconn = 64000
我知道限制太高了，开始尝试每一个可能的值。
更新：
我最终得到以下配置：
[uwsgi]
chdir = %d
master = 1
processes = %k
socket = /tmp/%c.sock
wsgi-file = app.py
lazy-apps = 1
touch-chain-reload = %dreload
virtualenv = %d.env
daemonize = /dev/null
pidfile = /tmp/%c.pid
listen = 40000
stats = /tmp/stats-%c.socket
cpu-affinity = 1
max-fd = 200000
memory-report = 1
post-buffering = 1
threads = 2