我正在使用 Go 和 Redis 开发一个 API。问题是内存使用不足,我找不到问题的根源。
TL;DR 版本
有成百上千的哈希对象。每个 1 KB 对象(键+值)占用约 0.5 MB 的 RAM。但是,没有内存碎片(INFO
显示无)。
此外,dump.rdb 比 RAM 集小 70 倍(360KB dump.rdb 与 25MB RAM 用于 50 个对象,35.5MB 与 2.47GB 用于 5000 个对象)。
长版
Redis 实例主要填充task:123
以下类型的哈希:
"task_id" : int
"client_id" : int
"worker_id" : int
"text" : string (0..255 chars)
"is_processed" : boolean
"timestamp" : int
"image" : byte array (1 kbyte)
此外,还有几个整数计数器、一个列表和一个排序集(均由 task_id 组成)。
RAM 使用量与任务对象的数量呈线性相关。
50 个任务的 INFO 输出:
# Memory
used_memory:27405872
used_memory_human:26.14M
used_memory_rss:45215744
used_memory_peak:31541400
used_memory_peak_human:30.08M
used_memory_lua:35840
mem_fragmentation_ratio:1.65
mem_allocator:jemalloc-3.6.0
和 5000 个任务:
# Memory
used_memory:2647515776
used_memory_human:2.47G
used_memory_rss:3379187712
used_memory_peak:2651672840
used_memory_peak_human:2.47G
used_memory_lua:35840
mem_fragmentation_ratio:1.28
mem_allocator:jemalloc-3.6.0
50 个任务的大小dump.rdb
为 360kB,5000 个任务的大小为 35553kB。
每个任务对象的序列化长度约为 7KB:
127.0.0.1:6379> DEBUG OBJECT task:2000
Value at:0x7fcb403f5880 refcount:1 encoding:hashtable serializedlength:7096 lru:6497592 lru_seconds_idle:180
我写了一个 Python 脚本试图重现这个问题:
import redis
import time
import os
from random import randint
img_size = 1024 * 1 # 1 kb
r = redis.StrictRedis(host='localhost', port=6379, db=0)
for i in range(0, 5000):
values = {
"task_id" : randint(0, 65536),
"client_id" : randint(0, 65536),
"worker_id" : randint(0, 65536),
"text" : "",
"is_processed" : False,
"timestamp" : int(time.time()),
"image" : bytearray(os.urandom(img_size)),
}
key = "task:" + str(i)
r.hmset(key, values)
if i % 500 == 0: print(i)
它只消耗 80MB 的 RAM!
我将不胜感激有关如何弄清楚发生了什么的任何想法。