文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

使用python怎么批量操作redis数据库

2023-06-08 00:50

关注

使用python怎么批量操作redis数据库?很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。

方法一:使用 pipeline

  使用pipelining 发送命令时,redis server必须部分请求放到队列中(使用内存)执行完毕后一次性发送结果,在 pipeline 使用期间,将“独占”链接,无法进行非“管道”类型的其他操作,直至 pipeline 关闭;如果 pipeline 的指令集很多很庞大,为了不影响其他操作(redis 最大时间lua-time-limit默认是5s),可以使用其他新建新链接操作。批量操作如下:

import redisr = redis.Redis(host='127.0.0.1', port=6379, password='1234567890')with r.pipeline() as ctx:  a = time.time()  ctx.hset('current', "time2", a)  ctx.hset('current', "time3", a)  res = ctx.execute()  print("result: ", res)

使用 pipe line 以乐观锁的形式执行事务操作

# -*- coding:utf-8 -*-import redisfrom redis import WatchErrorfrom concurrent.futures import ProcessPoolExecutorr = redis.Redis(host='127.0.0.1', port=6379)# 减库存函数, 循环直到减库存完成# 库存充足, 减库存成功, 返回True# 库存不足, 减库存失败, 返回Falsedef decr_stock():  # python中redis事务是通过pipeline的封装实现的  with r.pipeline() as pipe:    while True:      try:        # watch库存键, multi后如果该key被其他客户端改变, 事务操作会抛出WatchError异常        pipe.watch('stock:count')        count = int(pipe.get('stock:count'))        if count > 0: # 有库存          # 事务开始          pipe.multi() # multi 判断 watch 监控的 key 是否被其他客户端改变          pipe.decr('stock:count')          # 把命令推送过去          # execute返回命令执行结果列表, 这里只有一个decr返回当前值          result = pipe.execute()[0]          print("result: ", result)          return True        else:          return False      except WatchError as e:        # 打印WatchError异常, 观察被watch锁住的情况        print(e.args)      finally:        pipe.unwatch()def worker():  while True:    # 没有库存就退出    if not decr_stock():      break# 实验开始# 设置库存为100r.set("stock:count", 100)# 多进程模拟多个客户端提交with ProcessPoolExecutor(max_workers=2) as pool:  for _ in range(10):    pool.submit(worker)

方法二:使用 register_script 

分布执行,发送脚本到redis服务器,获取一个本次连接的一个调用句柄,根据此句柄可以无数次执行不同参数调用

import redisimport time  r = redis.Redis(host='127.0.0.1', port=31320, password='12345678')    lua = """  local key = KEYS[1]  local field = ARGV[1]  local timestamp_new = ARGV[2]    -- get timestamp of the key in redis  local timestamp_old = redis.call('hget', key, field)  -- if timestamp_old == nil, it means the key is not exist  if timestamp_old == nil or timestamp_old == false or timestamp_new > timestamp_old then    redis.call('hset', key, field .. 1, timestamp_new)    -- timestamp_new > timestamp_old    return redis.pcall('hset', key, field, timestamp_new)  end    """  cmd = r.register_script(lua)  cur_time = time.time()  cmd(keys=['current'], args=["time", cur_time])

register_script 调用 lua 来实现,需要注意 redis.call(method, key, field) 的返回值(nil,false,1),此处没有键值返回的是false。如果中间有错误,所有的语句不时不生效。

方法三:使用 script_load 和 evalsha

简而言之,通过 script_load 发送给redis服务器,使加载 lua 脚本,并常驻内存,返回标志,通过 evalsha 按标志进行执行,此连接脱离本次redis 客户端。

import redisimport time  r = redis.Redis(host='127.0.0.1', port=31320, password='12345678')    lua = """  local key = KEYS[1]  local field = ARGV[1]  local timestamp_new = ARGV[2]    -- get timestamp of the key in redis  local timestamp_old = redis.call('hget', key, field)  -- if timestamp_old == nil, it means the key is not exist  if timestamp_old == nil or timestamp_old == false or timestamp_new > timestamp_old then    redis.call('hset', key, field .. 1, timestamp_new)    -- timestamp_new > timestamp_old    return redis.pcall('hset', key, field, timestamp_new)  end    """  sha = r.script_load(lua)  print(r.evalsha(sha, 1, 'current', 'time', time.time()))

Redis 管理Lua脚本:(Python下为 script_... )

此命令用于将Lua脚本加载到Redis内存中

scripts exists sha1 [sha1 …]  
此命令用于判断sha1是否已经加载到Redis内存中

此命令用于清除Redis内存已经加载的所有Lua脚本,在执行script flush后,所有 sha 不复存在。

此命令用于杀掉正在执行的Lua脚本。

方法四:eval

使用方法与方法三类似,但是eval是一次性请求,每次请求,必须携带 lua 脚本

看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注编程网行业资讯频道,感谢您对编程网的支持。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯