文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

java分布式缓存方案

2024-04-02 19:55

关注

一、从数据说起

我们再做缓存之前需要把数据先分好类

按变化频率:

按使用频率:

这些数据就比较适合使用缓存。

缓存无处不在。内存可以看作是cpu和磁盘之间的缓存。cpu与内存的处理速度也不一致,所以出现了L1&L2 Cache

缓存的本质:系统各级之间处理速度不匹配,利用空间换时间。

缓存加载时间

1. 启动时全量加载

2. 懒加载

2.1. 同步使用加载

先看缓存里是否有数据,没有的话从数据库读取。读取的数据,先放到内存,然后返回给调用方。

2.2. 延迟异步加载

从缓存里获取数据,不管有没有都直接返回。

策略1:如果缓存为空的话,则发起一个异步线程负责加载。

策略2:异步线程负责维护缓存的数据,定期或根据条件触发更新。

缓存过期策略

二、本地缓存

1.Map 缓存


public static final Map<String,Object> CACHE=new HashMap();
CACHE.put("key","value");

2.Guava缓存


Cache<String,String> cache = CacheBuilder.newBuilder() .maximumSize(1024) .expireAfterWrite(60,TimeUnit.SECONDS) .weakValues() .build();
cache.put("word","Hello Guava Cache");
System.out.println(cache.getIfPresent("word"));


3.Spring Cache

核心功能:@Cacheable、@CachePut、@CacheEvict

本地缓存的缺点:

三、远程缓存

1.Redis
Redis是一个开源的使用ANSI C语言编写的,基于内存也可以持久化的key-value数据库,并提供多种语言的API
2. Memcached

memcached是一套分布式的高速缓存系统,由LiveJournal的Brad Fitzpatrick开发,但被许多网站使用。这是一套开放源代码软件,以BSD license授权发布。

四、内存网格

  1. Hazelcast
  2. lgnite

五、缓存常见问题

1. 缓存穿透

问题描述:大量并发查询不存在的KEY,导致都直接把压力透传到数据库上。

分析:因为数据库里没有值,所以没有建立缓存,导致一直打到数据库上。

解决办法:

  1. 缓存空值的KEY
  2. Bloom过滤或RoaringBitmap判断KEY是否存在
  3. 完全以缓存为准,使用延迟异步加载的方式去加载数据库数据到缓存。

Bloom过滤器示例:
(引入guava依赖)


public static void main(String[] args) {
        BloomFilter<CharSequence> filter = BloomFilter.create(
                Funnels.stringFunnel(Charsets.UTF_8),//Funnels.integerFunnel(), //数据格式
                1000000,//预计存入数据量
                0.01);//误判率

        System.out.println(filter.mightContain("abcdefg"));
        filter.put("abcdefg");
        System.out.println(filter.mightContain("abcdefg"));
    }

RoaringBitmap示例:
引入依赖:


<dependency>
			<groupId>org.roaringbitmap</groupId>
			<artifactId>RoaringBitmap</artifactId>
			<version>0.8.1</version>
		</dependency>

public static void test3(){
        Roaring64NavigableMap roaring64NavigableMap = Roaring64NavigableMap.bitmapOf(3, 4, 5, 90);
        //是否包含
        boolean contains = roaring64NavigableMap.contains(3);
        long l = roaring64NavigableMap.rankLong(3);
        System.out.println(l);
        System.out.println(contains);
    }

2. 缓存击穿

问题:当某个KEY失效的时候,正好有大量并发请求访问这个KEY

分析:跟缓存穿透比较像,这个是属于偶然的

解决办法:

  1. KEY的更新的时候添加全局互斥锁
  2. 完全以缓存为准,使用延迟异步加载的策略

3. 缓存雪崩

问题:当某一个时刻发生大规模的缓存失效的情况,会有大量请求打到数据库,导致数据库压力过大而宕机

分析:一般来说,由于更新策略、或者数据热点、缓存服务宕机等原因,导致缓存数据同时大规模不可以。

解决办法:

  1. 缓存更新、失效策略在时间上做到比较均匀
  2. 使用的热数据尽量分散到不同机器上
  3. 多台机器做主从复制,实现高可用
  4. 实现熔断限流机制,对系统进行负载能力控制
  5. 使用本地缓存兜底

番外:

布隆过滤器:

目标就是要基于过滤器已存储生成的原始元数据,进行比较过滤,如果是在原始元数据集合里面的,一定会被发现。也有可能不是里面的被误杀。

BloomFilter 会开辟一个m位的bitArray(位数组),开始所有数据都部署为0,当一个元素过来的时候,通过多个hash函数计算出不同的值,然后根据hash值找到对应的下标处,将里面的值改为1.

优点:使用计算,节省存储空间。

缺点:有失误率。不是在过滤器原始表里的数据也会被误算进去。

使用场景:目标就是要基于过滤器已存储生成的原始元数据,进行比较过滤,如果是在原始元数据集合里面的,一定会被发现。布隆过滤器核心正确的使用就是进行过滤禁止,进行正确的否定。

举例:如我们有100万个黑名单的url地址,过来一个地址我们算出来不在里面,那就肯定可以放行。

BitMap:

BitMap的基本思想是用一个bit位来标记某个元素对应的值,这样就可以大大节省空间。

在Java中一个int占4个字节,也就是32bit。按int存储和按位存储的大小差距是32倍。

那么怎么表示一个数呢?可以使用1表示存在,0表示不存在。

如下面:表示{2,6}

一个byte只有8个位置,如果想表示13怎么办呢?只能再用一个byte了,就成了一个二维数组了

1个int占32位,那么我们只需要申请一个int数组长度为 int tmp[1+N/32] 即可存储,其中N表示要存储的这些数中的最大值

使用场景:

把数放进去之后,遍历一遍,把值是1的都取出来就排好序了。

20亿个整数中找出不重复的整数的个数?

内存不足以容纳这20亿个整数。我们怎么表示数字的状态呢?一个数的状态可以分为3种,不存在、存在一次、存在两次及以上。这就需要两个bit来表示。00代表不存在,01代表一次,11代表两次及以上。

接下来我们就把这20亿个整数放进去,如果状态为00,就改为01,如果状态为01就改为11.如果状态为11,就不动了。都放完后,遍历取出值为01的,就是不重复的数据的个数。。

给定一个整数M,M/32就能得到int数组的下标,M%32就知道在这个下标里面的具体位置。

如13,就能算出在int[0]里面的第13个

到此这篇关于分布式缓存的文章就介绍到这了,更多相关缓存内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯