redis集群重新分片原理:(增加或移除节点)
以增加节点为例:
我们只需要将已经分配给节点的哈希槽(hash slot),重新分配即可。
注:hash slot重新分配时,如果槽中存在key-value,那么key-value也将一起被分配出去。
例如:
node1的哈希槽:0-5000
node2的哈希槽:5001-10000
node3的哈希槽:10001-16383
现在新增node4:
我们可以将node3的哈希槽调整为:10001-15000、node4的哈希槽:15001-16383
也可以在三个现有节点中,各自分出一部分哈希槽,给新的节点。
redis集群的重新分片操作是由redis的集群管理软件redis-trib负责执行的,
但它不支持自动分片,需要自己计算从哪些节点上分配slot。
redis集群在重新分片时,客户端获取数据原理:
重新分片时,集群不需要下线,并且源节点和目标节点都可以继续处理命令请求。
在hash slot迁移过程中(一部分key-value在node3中,另一部分key-value在node4中)
如果客户端向node3发送一个与数据库key有关的命令:
1)node3会先在自己的数据库里面查找请求的key,
如果找到,直接执行客户端发送的命令。
2)如果没找到,node3给客户端返回一个ASK错误,指引客户端转向node4,
并且客户端需要再次发送想要执行的key相关的命令。
3)客户端转向node4,首先发送ASKING命令,然后再次发送想要执行的key相关的命令。
如果直接发送想要执行的key相关的命令,node4此时并不处理,
因为key所在的槽还未迁移完,槽还属于node3,会返回错误给客户端。
但如果先发送ASKING命令,node4在执行key相关的命令时,
不仅会检查key所属槽是否属于自己,
还会检查migration_slots_to数组(正在迁往自己的槽)
判断key相关的槽是否正在迁往自己,如果是的话,则执行key相关的命令。