我们有 SaaS 应用程序,我们有成千上万的客户。当我们的客户网站获得流量时,我们也会获得与跟踪客户网站访问者活动相同的流量。
由于客户网站的流量导致请求突然激增,我们无法得知何时突然出现峰值,并且我们所有的服务器都关闭了。为了解决这个问题,我们配置了当我们的 CPU 或内存使用率超过 60% 时进行扩展。这意味着我们要为未使用的资源支付 40% 的额外费用。如果我们将其设置为 90%,那么我们的所有服务器都会由于突然的负载和资源使用而变得无响应。
我们希望利用我们支付的至少 90% 的资源,而不是 60% 的规模。有没有更好的方法以具有成本效益的方式进行扩展?
注意:我们使用的是AWS ElasticBeanstalk以及GoogleCloud 的 Kubernetes Engine服务。