自研高性能的Redis中间件

本文转载自微信公众号「漫漫技术路」，作者刘莅。转载本文请联系漫漫技术路公众号。  

接口请求量越来越大，为了缩短服务的响应时间、减轻数据库的压力，我们通常会在数据库前架设Redis。

但是单台Redis的内存有限，所以我们需要部署多个Redis节点。在业务里，我们可以根据key，将读写请求转发到不同的Redis节点，或者业务直连一个代理Proxy，请求路由规则由Proxy处理。

Proxy对于客户端来说，就相当于一个Redis，客户端连接到Redis上和连接到Proxy上，从本质上没什么区别。

目前业界有很多Redis Proxy，比如鼎鼎大名的Codis。用别人的产品多少会感觉内心不爽。作为一个爱造的程序员，当然也要自己写一个Redis Proxy了。

本文就为大家介绍一个笔者自研的Redis Proxy——Nedis。

架构图

特点

无状态，Nedis节点可水平扩展

数据分片、读写分离

支持多种路由

基于Netty开发，性能良好、轻量级

实现原理

我们从架构图中可以看到，Nedis主要由两大组件组成，netty-client和netty-server。

netty-client作用如下

Redis的客户端，如Jedis、redis-cli可以直接连接到Nedis。准确的说，Redis客户端连接到Nedis的netty-client组件，netty-client组件是处理Redis客户端发送的请求，然后对请求进行简单的解码，解析到key以后，根据key的hash值，将请求转发到相应的netty-server上。

netty-server作用如下

netty-server起到一个承上启下的作用。上承netty-client，接收Redis客户端的请求，下接Redis读写分离集群，将Redis客户端的请求发送给Redis，Redis的响应给netty-server，netty-server再把数据通过channel返回给Redis客户端。

Nedis启动后，会启动多个netty-server，每个netty-server会连接到一个Redis读写分离集群中。Nedis的端口、Redis读写分离集群的信息，都在配置文件中进行配置。

下面给大家演示一下吧

启动了两个Redis，端口分别是6379和6381，然后启动Nedis连接这两个Redis，Nedis端口是6380。通过redis-cli分别连接redis和Nedis，然后在连接Nedis的客户端输入命令，可以在monitor中看到，达到了根据key的hash值，对数据分片。

一些小细节

遇到keys命令怎么办?

对于数据库的Proxy，分库分表中间件MyCat、Shardingsphere等，我们通过分表字段，比如userId、主键，是很容易查到我们想要的数据。但是通过非分表字段，如user_name，create_time，查询需要扫描全部数据。

对于Redis的Proxy也一样，如keys命令、info命令等，需要查全部Redis节点，然后把数据汇总后返回给客户端。

在Nedis里，是禁止keys等命令的。如果Nedis收到keys等命令，Nedis会随机选择一台Redis，将单台Redis的数据返回给客户端。

单台Nedis扛不住怎么办?

Jedis等客户端连接一个Nedis节点，如果一个Nedis节点性能不足，可以将Nedis分散步部署多台，水平扩展提高Nedis集群性能和可用性。

未来规划

总的来说，Nedis还有很多功能需要完善。

支持读写分离

配置热更新

支持指定key路由到指定Redis上

 

支持多种路由规则，如一致性哈希，减少由于Redis扩容或缩容，导致缓存穿透问题