文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Redis 并发限流控制

2024-12-01 00:53

关注

优缺点

  1. 可能会导致请求延迟,如果请求速率较高,则桶中的令牌可能会被消耗完,导致新的请求无法被处理。
  2. 可以避免系统被大量请求涌入而导致的资源耗尽,并可以根据实际情况动态调整请求处理速率。

分析

核心参数:

  1. 桶的容量:它表示桶中最多能存放多少令牌。
  2. 令牌添加速率:每个时间单位内(1s)令牌桶中能添加的令牌数量。
  3. 每个请求需要的令牌数量:表示每个请求需要消耗的令牌数量,一般默认为 1。

其中令牌添加速率的实现方式为:维护一个时间戳,来记录上一次添加令牌的时间,以便在处理请求时计算令牌添加速率。

综上可以进行代码设计:

public class RedisRateLimiterReq {

@NotBlank
private String id;

@Min(1)
private int replenishRate;

@Min(0)
private int burstCapacity = 1;

@Min(1)
private int requestedTokens = 1;
}

基于Redis+lua的分布式令牌桶限流

redis key 设计:

  1. Key[1] :记录桶的剩余容量
  2. Key[2] :记录桶上次刷新时间,以此推算当前需要填入的令牌数量
  1. 第一次:需要新填入的令牌数量 = (当前时间 - 0) * 速率
  2. 其他后:需要新填入的令牌数量 = (当前时间 - Key[2]) * 速率

综上:当前桶内可用令牌数 = 桶的剩余容量 + 需要新填入的令牌数量

参数设计:

  1. capacity:桶的容量:它表示桶中最多能存放多少令牌。
  2. rate:令牌添加速率:每个时间单位内(1s)令牌桶中能添加的令牌数量。
  3. requested:每个请求需要的令牌数量:表示每个请求需要消耗的令牌数量,一般默认为 1。

核心公式:

  1. fill_time:填充时间:capacity / rate,例如 10/2,即每秒填充 5 个令牌。
  2. ttl:redis key[1]、key[2] 的过期时间,填充时间*2;为什么是2倍:这样可以保证令牌桶中的令牌能够被充分利用,并避免过早的过期。例如,如果填充时间的值为 10 秒,那么过期时间的值就应该设置为 20 秒。这样,在令牌桶的生存周期内,用户就有足够的时间来使用令牌桶中的令牌。

LUA 脚本

redis.replicate_commands()
-- 记录桶的剩余容量
local tokens_key = KEYS[1]
-- 记录桶上次刷新时间,以此推算当前需要填入的令牌数量
-- 第一次:需要新填入的令牌数量 = (当前时间 - 0) * 速率
-- 其他后:需要新填入的令牌数量 = (当前时间 - Key[2]) * 速率
local timestamp_key = KEYS[2]
-- 综上:**当前桶内可用令牌数 = 桶的剩余容量 + 需要新填入的令牌数量**
redis.log(redis.LOG_WARNING, "tokens_key " .. tokens_key)

local rate = tonumber(ARGV[1])
local capacity = tonumber(ARGV[2])
local now = redis.call('TIME')[1]
local requested = tonumber(ARGV[4])

local fill_time = capacity/rate
-- redis key[1]、key[2] 的过期时间
-- 令牌过期时间:填充时间*2
-- 返回小于参数x的最大整数
-- 这样可以保证令牌桶中的令牌能够被充分利用,并避免过早的过期。
-- 例如,如果填充时间的值为 10 秒,那么过期时间的值就应该设置为 20 秒。这样,在令牌桶的生存周期内,用户就有足够的时间来使用令牌桶中的令牌。
local ttl = math.floor(fill_time*2)

redis.log(redis.LOG_WARNING, "rate " .. ARGV[1])
redis.log(redis.LOG_WARNING, "capacity " .. ARGV[2])
redis.log(redis.LOG_WARNING, "now " .. now)
redis.log(redis.LOG_WARNING, "requested " .. ARGV[4])
redis.log(redis.LOG_WARNING, "filltime " .. fill_time)
redis.log(redis.LOG_WARNING, "ttl " .. ttl)

local last_tokens = tonumber(redis.call("get", tokens_key))
if last_tokens == nil then
last_tokens = capacity
end
redis.log(redis.LOG_WARNING, "last_tokens " .. last_tokens)

local last_refreshed = tonumber(redis.call("get", timestamp_key))
if last_refreshed == nil then
last_refreshed = 0
end
redis.log(redis.LOG_WARNING, "last_refreshed " .. last_refreshed)

local delta = math.max(0, now-last_refreshed)
local filled_tokens = math.min(capacity, last_tokens+(delta*rate))
local allowed = filled_tokens >= requested
local new_tokens = filled_tokens
local allowed_num = 0
if allowed then
new_tokens = filled_tokens - requested
allowed_num = 1
end

--redis.log(redis.LOG_WARNING, "delta " .. delta)
--redis.log(redis.LOG_WARNING, "filled_tokens " .. filled_tokens)
--redis.log(redis.LOG_WARNING, "allowed_num " .. allowed_num)
--redis.log(redis.LOG_WARNING, "new_tokens " .. new_tokens)

if ttl > 0 then
redis.call("setex", tokens_key, ttl, new_tokens)
redis.call("setex", timestamp_key, ttl, now)
end

-- return { allowed_num, new_tokens, capacity, filled_tokens, requested, new_tokens }
return { allowed_num, new_tokens }

redis.replicate_commands() 是 Redis 客户端的一个方法,它用于启用命令复制(command replication)。命令复制是指,在多个 Redis 实例之间复制命令,以保证数据的一致性。

例如,如果你在一个 Redis 集群中执行了一条写入命令,那么这条命令就会被复制到集群中的其他实例中。这样,就可以保证集群中的所有实例都保存了相同的数据,并且可以提供高可用性和数据安全性。

来源:今日头条内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯