文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

ZK(ZooKeeper)分布式锁实现

2024-12-02 18:50

关注

不知道如何搭建的,可以看我之前 ZooKeeper集群 搭建:Zookeeper 集群部署的那些事儿

关于ZooKeeper 一些基础命令可以看这篇:Zookeeper入门看这篇就够了

前言

在平时我们对锁的使用,在针对单个服务,我们可以用 Java 自带的一些锁来实现,资源的顺序访问,但是随着业务的发展,现在基本上公司的服务都是多个,单纯的 Lock或者Synchronize 只能解决单个JVM线程的问题,那么针对于单个服务的 Java 的锁是无法满足我们业务的需要的,为了解决多个服务跨服务访问共享资源,于是就有了分布锁,分布式锁产生的原因就是集群。

正文

实现分布式锁的方式有哪些呢?

今天我们主要讲解的是使用 ZooKeeper来实现分布式锁,ZooKeeper的应用场景主要包含这几个方面:

  1. 服务注册与订阅(共用节点)
  2. 分布式通知(监听ZNode)
  3. 服务命令(ZNode特性)
  4. 数据订阅、发布(Watcher)
  5. 分布式锁(临时节点)

ZooKeeper实现分布式锁,主要是得益于ZooKeeper 保证了数据的强一致性,锁的服务可以分为两大类:

保持独占

所有试图来获取当前锁的客户端,最终有且只有一个能够成功得到当前锁的钥匙,通常我们会把 ZooKeeper 上的节点(ZNode)看做一把锁,通过 create临时节点的方式来实现,当多个客户端都去创建一把锁的时候,那么只有成功创建了那个客户端才能拥有这把锁

控制时序

所有试图获取锁的客户端,都是被顺序执行,只是会有一个序号(zxid),我们会有一个节点,例如:/testLock,所有临时节点都在这个下面去创建,ZK的父节点(/testLock) 维持了一个序号,这个是ZK自带的属性,他保证了子节点创建的时序性,从而也形成了每个客户端的一个 全局时序

ZK锁机制

在实现ZooKeeper 分布式锁之前我们有必要了解一下,关于ZooKeeper分布式锁机制的实现流程和原理,不然各位宝贝,出去面试的时候怎么和面试官侃侃而谈~

临时顺序节点

基于ZooKeeper的临时顺序节点 ,ZooKeeper比较适合来实现分布式锁:

我们现在看一下下面一张图:

在上图中, ZooKeeper里面有一把锁节点 testLock,这个锁就是 ZooKeeper的一个节点,当两个客户端来获取这把锁的时候,会对 ZooKeeper进行加锁的请求,也就是我们所说的 临时顺序节点。

当我们在 /testLock目录下创建了一个顺序临时节点后,ZK会自动对这个临时节点维护 一个节点序号,并且这个节点是递增的,比如我们 clientA 创建了一个临时顺序节点,ZK内部会生成一个序号:/lock0000000001,那么 clientB 也生成了一个临时顺序节点,ZK会生成一个序号为 /lock0000000002,在这里数字都是依次递增的,从1开始递增,ZK内部会维护这个顺序。

下图所示:

这时候,ClientA会进行监听判断,在父节点下,我是不是最小的,如果是的话,那么俺就可以加锁了,因为我是最小的,其他的都比我大。我自己可以进行加锁,你已经是一个成熟的临时节点了,要学会自己加锁。咳,那么ZK是怎么进行判断的呢?宝贝,您往下看:

这个是 cleintA已经加锁完成了,这个时候 clientB也要过来加锁,那么他也要在 /testLock,创建一个属于自己的临时节点,那么这个时候他的序号就会变成 /lock0000000002,如下图所示:

这个时候就会出现我们前面所讲的,clientB 在加锁的时候会判断,自己是不是最小的,一看在当前父节点下不是最小的,啊~我还挺大的,还有比我小的!!!

加锁失败呀,咳咳,这个时候呢,clientB 就会去偷窥clientA,气氛逐渐暧昧起来,啊不是,是按照顺序去监听前一个节点(clientA),是否完成工作了,如果完成了,clientB才可以进行加锁工作,宝贝,你往下看图片: 

clientA 加锁成功后,会进行自己的业务处理,当 clientA 处理完工作后,说我完事了,下一个,那么 clientA 是怎么完事的呢,他多长时间?不是,具体流程是怎样的?小农你不对劲,说什么呢!!!真羞涩

上面我们不是说了,当 clientB 加锁失败后,会给前一个节点(clientA)加上一个监听,当clientA被删除以后,就表示有人释放了锁,这个时候就会通知 clientB重新去获取锁。 

这个时候clientB重新获取锁的时候,发现自己就是当前父节点下面最小的那个,于是clientB就开始加锁,开始工作等一系列操作,当clientB 完事以后,释放锁,也说了一句,下一个。

如下图所示:

当然除了 clientA、clientB还有C\D\E等,这字母看着好奇怪又好熟悉,原理都是一样的,都是最小节点进行解锁,如果不是,监听前一个节点是否释放,如果释放了,再次尝试加锁。如果前一节节点释放了,自己就是最小了,就排到前面去了,有点类似于 银行取号 的操作。

代码实现

使用ZooKeeper 创建临时顺序节点来实现分布式锁,大体的流程就是 先创建一个持久父节点,在当前节点下,创建临时顺序节点,找出最小的序列号,获取分布式锁,程序业务完成之后释放锁,通知下一个节点进行操作,使用的是watch来监控节点的变化,然后依次下一个最小序列节点进行操作。

首先我们需要创建一个持久父类节点:我这里是 /mxn

WatchCallBack

  1. import org.apache.zookeeper.*; 
  2. import org.apache.zookeeper.data.Stat; 
  3.  
  4. import java.util.Collections; 
  5. import java.util.List; 
  6. import java.util.concurrent.CountDownLatch; 
  7.  
  8.  
  9.  
  10. public class WatchCallBack  implements Watcher, AsyncCallback.StringCallback ,AsyncCallback.Children2Callback ,AsyncCallback.StatCallback { 
  11.  
  12.     ZooKeeper zk ; 
  13.     String threadName; 
  14.     CountDownLatch cc = new CountDownLatch(1); 
  15.     String pathName; 
  16.  
  17.     public String getPathName() { 
  18.         return pathName; 
  19.     } 
  20.  
  21.     public void setPathName(String pathName) { 
  22.         this.pathName = pathName; 
  23.     } 
  24.  
  25.     public String getThreadName() { 
  26.         return threadName; 
  27.     } 
  28.  
  29.     public void setThreadName(String threadName) { 
  30.         this.threadName = threadName; 
  31.     } 
  32.  
  33.     public ZooKeeper getZk() { 
  34.         return zk; 
  35.     } 
  36.  
  37.     public void setZk(ZooKeeper zk) { 
  38.         this.zk = zk; 
  39.     } 
  40.  
  41.      
  42.     public void tryLock(){ 
  43.         try { 
  44.  
  45.             System.out.println(threadName + " 开始创建。。。。"); 
  46.             //创建一个顺序临时节点 
  47.             zk.create("/lock",threadName.getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL,this,"abc"); 
  48.             //阻塞当前,监听前一个节点是否释放锁 
  49.             cc.await(); 
  50.         } catch (InterruptedException e) { 
  51.             e.printStackTrace(); 
  52.         } 
  53.     } 
  54.  
  55.      
  56.     public void unLock(){ 
  57.         try { 
  58.             //释放锁,删除临时节点 
  59.             zk.delete(pathName,-1); 
  60.             //结束工作 
  61.             System.out.println(threadName + "         结束工作了...."); 
  62.         } catch (InterruptedException e) { 
  63.             e.printStackTrace(); 
  64.         } catch (KeeperException e) { 
  65.             e.printStackTrace(); 
  66.         } 
  67.     } 
  68.  
  69.  
  70.     @Override 
  71.     public void process(WatchedEvent event) { 
  72.  
  73.         //如果第一个节点释放了锁,那么第二个就会收到回调 
  74.         //告诉它前一个节点释放了,你可以开始尝试获取锁 
  75.         switch (event.getType()) { 
  76.             case None: 
  77.                 break; 
  78.             case NodeCreated: 
  79.                 break; 
  80.             case NodeDeleted: 
  81.                 //当前节点重新获取锁 
  82.                 zk.getChildren("/",false,this ,"sdf"); 
  83.                 break; 
  84.             case NodeDataChanged: 
  85.                 break; 
  86.             case NodeChildrenChanged: 
  87.                 break; 
  88.         } 
  89.  
  90.     } 
  91.  
  92.     @Override 
  93.     public void processResult(int rc, String path, Object ctx, String name) { 
  94.         if(name != null ){ 
  95.             System.out.println(threadName  +" 线程创建了一个节点为 : " +  name ); 
  96.             pathName =  name ; 
  97.             //监听前一个节点 
  98.             zk.getChildren("/",false,this ,"sdf"); 
  99.         } 
  100.  
  101.     } 
  102.  
  103.     //getChildren  call back 
  104.     @Override 
  105.     public void processResult(int rc, String path, Object ctx, List children, Stat stat) { 
  106.  
  107.         //节点按照编号,升序排列 
  108.         Collections.sort(children); 
  109.         //对节点进行截取例如  /lock0000000022 截取后就是  lock0000000022 
  110.         int i = children.indexOf(pathName.substring(1)); 
  111.  
  112.  
  113.         //是不是第一个,也就是说是不是最小的 
  114.         if(i == 0){ 
  115.             //是第一个 
  116.             System.out.println(threadName +" 现在我是最小的...."); 
  117.             try { 
  118.                 zk.setData("/",threadName.getBytes(),-1); 
  119.                 cc.countDown(); 
  120.  
  121.             } catch (KeeperException e) { 
  122.                 e.printStackTrace(); 
  123.             } catch (InterruptedException e) { 
  124.                 e.printStackTrace(); 
  125.             } 
  126.         }else
  127.             //不是第一个 
  128.             //监听前一个节点 看它是不是完成了工作进行释放锁了 
  129.             zk.exists("/"+children.get(i-1),this,this,"sdf"); 
  130.         } 
  131.  
  132.     } 
  133.  
  134.     @Override 
  135.     public void processResult(int rc, String path, Object ctx, Stat stat) { 
  136.         //判断是否失败exists 
  137.     } 

TestLock

  1. import com.mxn.zookeeper.config.ZKUtils; 
  2. import org.apache.zookeeper.ZooKeeper; 
  3. import org.junit.After
  4. import org.junit.Before; 
  5. import org.junit.Test; 
  6.  
  7.  
  8.  
  9. public class TestLock { 
  10.  
  11.  
  12.     ZooKeeper zk ; 
  13.  
  14.     @Before 
  15.     public void conn (){ 
  16.         zk  = ZKUtils.getZK(); 
  17.     } 
  18.  
  19.     @After 
  20.     public void close (){ 
  21.         try { 
  22.             zk.close(); 
  23.         } catch (InterruptedException e) { 
  24.             e.printStackTrace(); 
  25.         } 
  26.     } 
  27.  
  28.     @Test 
  29.     public void lock(){ 
  30.  
  31.         //创建十个线程 
  32.         for (int i = 0; i < 10; i++) { 
  33.             new Thread(){ 
  34.                 @Override 
  35.                 public void run() { 
  36.                     WatchCallBack watchCallBack = new WatchCallBack(); 
  37.                     watchCallBack.setZk(zk); 
  38.                     String threadName = Thread.currentThread().getName(); 
  39.                     watchCallBack.setThreadName(threadName); 
  40.                     //线程进行抢锁操作 
  41.                     watchCallBack.tryLock(); 
  42.                     try { 
  43.                         //进行业务逻辑处理 
  44.                         System.out.println(threadName+"         开始处理业务逻辑了..."); 
  45.                         Thread.sleep(200); 
  46.                     }catch (Exception e){ 
  47.                         e.printStackTrace(); 
  48.                     } 
  49.                     //释放锁 
  50.                     watchCallBack.unLock(); 
  51.  
  52.  
  53.                 } 
  54.             }.start(); 
  55.         } 
  56.  
  57.  
  58.         while(true){ 
  59.  
  60.         } 
  61.  
  62.     } 
  63.  

运行结果:

  1. Thread-1 线程创建了一个节点为 : /lock0000000112 
  2. Thread-5 线程创建了一个节点为 : /lock0000000113 
  3. Thread-2 线程创建了一个节点为 : /lock0000000114 
  4. Thread-6 线程创建了一个节点为 : /lock0000000115 
  5. Thread-9 线程创建了一个节点为 : /lock0000000116 
  6. Thread-4 线程创建了一个节点为 : /lock0000000117 
  7. Thread-7 线程创建了一个节点为 : /lock0000000118 
  8. Thread-3 线程创建了一个节点为 : /lock0000000119 
  9. Thread-8 线程创建了一个节点为 : /lock0000000120 
  10. Thread-0 线程创建了一个节点为 : /lock0000000121 
  11. Thread-1 现在我是最小的.... 
  12. Thread-1         开始处理业务逻辑了... 
  13. Thread-1         结束工作了.... 
  14. Thread-5 现在我是最小的.... 
  15. Thread-5         开始处理业务逻辑了... 
  16. Thread-5         结束工作了.... 
  17. Thread-2 现在我是最小的.... 
  18. Thread-2         开始处理业务逻辑了... 
  19. Thread-2         结束工作了.... 
  20. Thread-6 现在我是最小的.... 
  21. Thread-6         开始处理业务逻辑了... 
  22. Thread-6         结束工作了.... 
  23. Thread-9 现在我是最小的.... 
  24. Thread-9         开始处理业务逻辑了... 
  25. Thread-9         结束工作了.... 
  26. Thread-4 现在我是最小的.... 
  27. Thread-4         开始处理业务逻辑了... 
  28. Thread-4         结束工作了.... 
  29. Thread-7 现在我是最小的.... 
  30. Thread-7         开始处理业务逻辑了... 
  31. Thread-7         结束工作了.... 
  32. Thread-3 现在我是最小的.... 
  33. Thread-3         开始处理业务逻辑了... 
  34. Thread-3         结束工作了.... 
  35. Thread-8 现在我是最小的.... 
  36. Thread-8         开始处理业务逻辑了... 
  37. Thread-8         结束工作了.... 
  38. Thread-0 现在我是最小的.... 
  39. Thread-0         开始处理业务逻辑了... 
  40. Thread-0         结束工作了.... 

总结

ZK分布式锁,能够有效的解决分布式、不可重入的问题,在上面的案例中我, 没有实现可重入锁,但是实现起来也不麻烦,只需要带上线程信息等唯一标识,判断一下就可以了

ZK实现分布式锁具有天然的优势,临时顺序节点,可以有效的避免死锁问题,让客户端断开,那么就会删除当前临时节点,让下一个节点进行工作。

如果文中有错误或者不了解的地方,欢迎留言,小农看见了会第一时间回复大家,大家加油

我是牧小农,一个卑微的打工人,如果觉得文中的内容对你有帮助,记得一键三连啊,你们的三连是小农最大的动力。

 

来源:牧小农内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯