kubernetes - 如何处理特使中的临时端口耗尽

Question

反向代理代表客户端处理多个请求的问题之一是，在负载过重一段时间后，从特使节点到后端节点的传出连接数将用完临时端口

假设我们已经为特使节点分配了多个 IP 地址/主机名，有没有办法通知特使在与后端建立连接时以循环方式使用这些 IP 地址/主机名？

参考：

1. https://blog.box.com/blog/ephemeral-port-exhaustion-and-web-services-at-scale/
2. https://making.pusher.com/ephemeral-port-exhaustion-and-how-to-avoid-it/
3. https://www.nginx.com/blog/overcoming-ephemeral-port-exhaustion-nginx-plus/
4. https://github.com/kubernetes/kubernetes/issues/27398

Answer 1

最有希望的选择是找到一种方法来启用代理/LB 和后端服务器之间的 TCP 多路复用。

什么是 TCP 多路复用？

TCP 多路复用是一种主要由负载平衡器和应用程序交付控制器（但也由一些独立的 Web 应用程序加速解决方案）使用的技术，它使设备能够“重用”现有的 TCP 连接。这类似于持久 HTTP 1.1 连接的工作方式，因为单个 HTTP 连接可用于检索多个对象，从而减少 TCP 开销对应用程序性能的影响。

TCP 多路复用允许基于 TCP 的应用程序（通常是 HTTP / Web）发生相同的事情，除了重用仅限于 1 个客户端，连接可以在许多客户端上重用，从而提高 Web 服务器的效率和执行速度更快的应用程序。

关于 TCP 多路复用的另一个很好的解释可以在这里找到。

另一种选择是将更多代理实例添加到 L4 网络负载均衡器后面的池中，并将一个实例的连接限制设置为合理值。每个代理都会毫无问题地承载一定数量的负载。如果您需要处理周期性的负载突发，您可能需要为代理池设置自动缩放策略。