我正在考虑使用Redis缓存一些用户数据快照,以加快对该数据的访问(原因之一是因为我的 MySQL 表遭受锁争用)并且我正在寻找一步导入这样的表的最佳方法(可能包含几条记录到数百万条记录):
mysql> select * from mytable where snapshot = 1133;
+------+--------------------------+----------------+-------------------+-----------+-----------+
| id | email | name | surname | operation | snapshot |
+------+--------------------------+----------------+-------------------+-----------+-----------+
| 2989 | example-2989@example.com | fake-name-2989 | fake-surname-2989 | 2 | 1133 |
| 2990 | example-2990@example.com | fake-name-2990 | fake-surname-2990 | 10 | 1133 |
| 2992 | example-2992@example.com | fake-name-2992 | fake-surname-2992 | 5 | 1133 |
| 2993 | example-2993@example.com | fake-name-2993 | fake-surname-2993 | 5 | 1133 |
| 2994 | example-2994@example.com | fake-name-2994 | fake-surname-2994 | 9 | 1133 |
| 2995 | example-2995@example.com | fake-name-2995 | fake-surname-2995 | 7 | 1133 |
| 2996 | example-2996@example.com | fake-name-2996 | fake-surname-2996 | 1 | 1133 |
+------+--------------------------+----------------+-------------------+-----------+-----------+
进入 Redis 键值存储。
我可以将许多“快照”加载到 Redis 中,基本访问模式是(类似 SQL 的语法)
select * from mytable where snapshot = ? and id = ?
这些快照也可以来自其他表,因此“每个快照的全局唯一 ID ”是列snapshot
,例如:
mysql> select * from my_other_table where snapshot = 1134;
+------+--------------------------+----------------+-------------------+-----------+-----------+
| id | email | name | surname | operation | snapshot |
+------+--------------------------+----------------+-------------------+-----------+-----------+
| 2989 | example-2989@example.com | fake-name-2989 | fake-surname-2989 | 1 | 1134 |
| 2990 | example-2990@example.com | fake-name-2990 | fake-surname-2990 | 8 | 1134 |
| 2552 | example-2552@example.com | fake-name-2552 | fake-surname-2552 | 5 | 1134 |
+------+--------------------------+----------------+-------------------+-----------+-----------+
加载到redis中的快照永远不会改变,它们只能通过TTL使用一周
有一种方法可以一步将这种数据(行和列)加载到redis中,并结合
redis-cli --pipe
和HMSET
?为了存储/获取这些数据(考虑访问模式),在 redis 中使用的最佳模型是什么?
我已经找到了redis-cli --pipe
Redis Mass Insertion(以及MySQL to Redis in One Step),但我无法找到满足我要求的最佳方法(一步从 mysql 加载所有行/列,最好的 redis 模型)使用HMSET
提前致谢
克里斯蒂安。