46

我在我们的生产环境中遇到以下问题(Web-Farm - 4 个节点,在它之上负载均衡器):

1)Timeout performing HGET key, inst: 3, queue: 29, qu=0, qs=29, qc=0, wr=0/0 at StackExchange.Redis.ConnectionMultiplexer.ExecuteSyncImpl[T](Message message, ResultProcessor``1 processor, ServerEndPoint server) in ConnectionMultiplexer.cs:line 1699这在一分钟内发生 3-10 次

2)No connection is available to service this operation: HGET key at StackExchange.Redis.ConnectionMultiplexer.ExecuteSyncImpl[T](Message message, ResultProcessor``1 processor, ServerEndPoint server) in ConnectionMultiplexer.cs:line 1666

我尝试按照 Marc 的建议实现(也许我解释错了)——与 Redis 的连接比多个连接更好。我做了以下实现:

public class SeRedisConnection
{
    private static ConnectionMultiplexer _redis;

    private static readonly object SyncLock = new object();

    public static IDatabase GetDatabase()
    {
        if (_redis == null || !_redis.IsConnected || !_redis.GetDatabase().IsConnected(default(RedisKey)))
        {
            lock (SyncLock)
            {
                try
                {
                    var configurationOptions = new ConfigurationOptions
                    {
                        AbortOnConnectFail = false
                    };
                    configurationOptions.EndPoints.Add(new DnsEndPoint(ConfigurationHelper.CacheServerHost,
                        ConfigurationHelper.CacheServerHostPort));

                    _redis = ConnectionMultiplexer.Connect(configurationOptions);
                }
                catch (Exception ex)
                {
                   IoC.Container.Resolve<IErrorLog>().Error(ex);
                    return null;
                }
            }
        }
        return _redis.GetDatabase();
    }

    public static void Dispose()
    {
        _redis.Dispose();
    }
}

实际上 dispose 现在没有被使用。此外,我还有一些可能导致这种行为的实现细节(我只使用哈希): 1. 添加、删除哈希 - 异步 2. 获取 -sync

有人可以帮助我如何避免这种行为吗?

提前非常感谢!

已解决 - 评估网络功能后增加客户端连接超时。

更新2:实际上它并没有解决问题。当缓存卷开始增加时,例如从 2GB。然后我看到了同样的模式,实际上这些超时大约每 5 分钟发生一次。我们的网站每 5 分钟被冻结一段时间,直到分叉操作完成。然后我发现有一个选项可以每 x 秒进行一次分叉(保存到磁盘):

save 900 1
save 300 10
save 60 10000

就我而言,它是“保存 300 10”——如果发生至少 10 次更新,则每 5 分钟保存一次。我还发现“叉子”可能非常昂贵。评论“保存”部分完全解决了问题。我们可以评论“保存”部分,因为我们只使用 Redis 作为“内存中的缓存”——我们不需要任何持久性。这是我们的缓存服务器“Redis 2.4.6”windows 端口的配置:https ://github.com/rgl/redis/downloads

也许它已经在 MSOpentech 中的 Redis windows 端口的最新版本中得到了解决:http://msopentech.com/blog/2013/04/22/redis-on-windows-stable-and-reliable/ 我还没有测试过.

无论如何,StackExchange.Redis 与这个问题无关,它在我们的生产环境中工作得相当稳定,这要感谢 Marc Gravell。

最后更新: Redis 是单线程解决方案 - 它最终速度很快,但是当涉及到释放内存(删除过时或过期的项目)时,问题出现了,因为一个线程应该回收内存(不是快速操作 - 无论使用什么算法),并且同一个线程应该处理 GET、SET 操作。当我们谈论中等负载的生产环境时,当然会发生这种情况。即使您在达到内存屏障时使用带有从属的集群,它也会具有相同的行为。

4

1 回答 1

1

在大多数情况下,此异常似乎是客户端问题。以前版本的 StackExchange.Redis 直接使用 Win32 套接字,这有时会产生负面影响。可能与它有关的 Asp.net 内部路由。
好消息是 StackExchange.Redis 的网络基础设施最近完全重写了。最后一个版本是 2.0.513。试试看,你的问题很有可能会消失。

于 2018-11-11T06:54:08.670 回答