我在快速缓存响应时遇到了一些真正的麻烦……我有一个端点会收到很多请求（大约 5k rpm）。此端点从 mongodb 获取数据并加快速度，我想将完整的 json 响应缓存 1 秒，以便每秒只有第一个请求命中数据库，而其他请求则从缓存中提供。
当抽象出问题的数据库部分时，我的解决方案看起来像这样。我在 redis 中检查缓存的响应。如果找到一个，我会提供它。如果不是我生成它，发送它并设置缓存。超时太模拟数据库操作。
app.get('/cachedTimeout', function(req,res,next) {
redis.get(req.originalUrl, function(err, value) {
if (err) return next(err);
if (value) {
res.set('Content-Type', 'text/plain');
res.send(value.toString());
} else {
setTimeout(function() {
res.send('OK');
redis.set(req.originalUrl, 'OK');
redis.expire(req.originalUrl, 1);
}, 100);
}
});
});
问题在于，这不仅会使第一个请求每秒都命中数据库。相反，在我们有时间设置缓存之前（100 毫秒之前）进入的所有请求都会到达数据库。当为此添加实际负载时，响应时间大约为 60 秒，因为很多请求都落后了。
我知道这可以通过像 varnish 这样的反向代理来解决，但目前我们托管在 heroku 上，这使得这样的设置变得复杂。
我想做的是在 express 内部做某种反向代理缓存。我希望它使在初始请求（生成缓存）之后进入的所有请求都将等待缓存生成完成，然后再使用相同的响应。
这可能吗？