文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

巧用 Redis,实现微博 Feed 流功能!

2024-11-30 07:14

关注

二、相关概念

下面先介绍一下关于 Feed 流的简单概念。

1.什么是 feed 流

2.feed 流分类

Feed 流常见的分类有两种:

三、设计

设计一个 Feed 流系统,两个关键步骤,一个是 Feed 流的 初始化,一个是 推送。关于 Feed 流的存储其实也是一个核心的点,但是笔主持久化使用的还是 MySQL,后续可以考虑优化。

1.Feed 流初始化

Feed 流【关注页 Feed 流】的初始化指的是,当用户的 Feed 流还不存在的时候,为该用户创建一个属于他自己的关注页 Feed 流,具体怎么做呢?其实很简单,遍历一遍关注列表,取出所有关注用户的 feed,将 feedId 存放到 redis 的 sortSet 中即可。这里面有几个关键点:

2.推送

经过上面的初始化,已经把 feed 流放在了 redis 缓存中了。接下来就是需要更新 feed 流了,在下面四种情况需要进行更新:

3.发布/删除 Feed 流程

上面四步具体怎么操作,会在下面的实现步骤中详细描述,在这里先我们重点讨论一下第一、二种情况。因为在处理 大V 【千万级别粉丝】的时候,我们是需要对 大V 的所有粉丝的 feed 流进行处理的,这时候涉及到的量就会非常巨大,需要多加斟酌。关于推送,一般有两种 推/拉。

4.推拉结合模式

当用户发布一条新的 Feed 时,处理流程如下:

当刷新自己的Feed流的时候,处理流程如下:

至此,使用推拉结合方式的发布,读取Feed流的流程都结束了。

5.推模式

如果只是用推模式了,则会变的比较简单:

6.两种模式总结

推拉结合存在一个弊端,就是刷新自己的Feed流时,大V的个人页Timeline 的读压力会很大。

如何解决:

四、实现

笔主主要采用纯推模式实现了一个普通企业基本可用的 Feed 流系统,下面介绍一下具体的实现代码,主要包括3大个部分:

1.初始化 Feed 流

当用户第一进来刷新Feed 流,且 Feed 流还不存在时,我们需要进行初始化,初始化的具体代码如下:核心思想就是从数据库中load出 feed 信息,塞到 zSet 中,然后分页返回。


public List listFocusFeed(Long userId, Integer page, Integer size) {
    String focusFeedKey = "focusFeedKey" + userId;

    // 如果 zset 为空,先初始化
    if (!zSetRedisTemplate.exists(focusFeedKey)) {
        initFocusIdeaSet(userId);
    }

    // 如果 zset 存在,但是存在 0 值
    Double zscore = zSetRedisTemplate.zscore(focusFeedKey, "0");
    if (zscore != null && zscore > 0) {
        return null;
    }

    //分页
    int offset = (page - 1) * size;

    long score = System.currentTimeMillis();
    // 按 score 值从大到小从 zSet 中取出 FeedId 集合
    List list = zSetRedisTemplate.zrevrangeByScore(focusFeedKey, score, 0, offset, size);

    List result = new ArrayList<>();
    if (QlchatUtil.isNotEmpty(list)) {
        for (String s : list) {
            // 根据 feedId 从缓存中 load 出 feed
            FeedDto feedDto = this.loadCache(Long.valueOf(s));
            if (feedDto != null) {
                result.add(feedDto);
            }
        }
    }
    return result;
}


private void initFocusFeedSet( Long userId) {
    String focusFeedKey = "focusFeedKey" + userId;
    zSetRedisTemplate.del(focusIdeaKey);

    // 从数据库中加载当前用户关注的人发布过的 Feed
    List list = this.feedMapper.listFocusFeed(userId);

    if (QlchatUtil.isEmpty(list)) {
        //保存0,避免空数据频繁查库
        zSetRedisTemplate.zadd(focusFeedKey, 1, "0");
        zSetRedisTemplate.expire(focusFeedKey, RedisKeyConstants.ONE_MINUTE * 5);
        return;
    }

    // 遍历 FeedList,把 FeedId 存到 zSet 中
    for (Feed feed : list) {
        zSetRedisTemplate.zadd(focusFeedKey, feed.getCreateTime().getTime(), feed.getId().toString());
    }

    zSetRedisTemplate.expire(focusFeedKey, 60 * 60 * 60);
}

2.关注的用户发布/删除新的 feed

每当用户发布/删除新的 feed,我们需要更新该用户所有的粉丝的 Feed流,该步骤一般比较耗时,所以建议异步处理,为了避免一次性load出太多的粉丝数据,这里采用循环分页查询。为了避免粉丝的 Feed流过大,我们会限制 Feed 流的长度为1000,当Feed流长度超过1000时,会移除最旧的 Feed。


public void handleFeed(Long userId, Long feedId, String type) {

    Integer currentPage = 1;
    Integer size = 1000;
    List fansDtos;

    while (true) {
        Page page = new Page();
        page.setSize(size);
        page.setPage(currentPage);
        fansDtos = this.fansService.listFans(userId, page);

        for (FansDto fansDto : fansDtos) {
            String focusFeedKey = "focusFeedKey" + userId;

            // 如果粉丝 zSet 不存在,退出
            if (!this.zSetRedisTemplate.exists(focusFeedKey)) {
                continue;
            }

            // 新增Feed
            if ("feed_add".equals(type)) {
                this.removeOldestZset(focusFeedKey);
                zSetRedisTemplate.zadd(focusFeedKey, System.currentTimeMillis(), feedId);
            }
            // 删除Feed
            else if ("feed_sub".equals(type)) {
                zSetRedisTemplate.zrem(focusFeedKey, feedId);
            }

        }

        if (fansDtos.size() < size) {
            break;
        }
        currentPage++;
    }

}


private void removeOldestZset(String focusFeedKey){
    // 如果当前 zSet 大于1000,删除最旧的数据
    if (this.zSetRedisTemplate.zcard(focusFeedKey) >= 1000) {
        // 获取当前 zSet 中 score 值最小的
        List zrevrange = this.zSetRedisTemplate.zrevrange(focusFeedKey, -1, -1, String.class);
        if (QlchatUtil.isNotEmpty(zrevrange)) {
            this.zSetRedisTemplate.zrem(focusFeedKey, zrevrange.get(0));
        }
    }
}

3.用户新增关注/取消关注

这里比较简单,新增/取消关注,把新关注的 Feed 往自己的 Feed流中增加/删除 即可,但是同样需要异步处理。


public void handleFocus( Long followId, Long followerId, String type) {

    String focusFeedKey = "focusFeedKey" + userId;

    // 如果粉丝 zSet 不存在,退出
    if (!this.zSetRedisTemplate.exists(focusFeedKey)) {
        return;
    }
    List FeedDtos = this.listFeedByFollowId(source, followId);
    for (FeedDto feedDto : FeedDtos) {

        // 关注
        if ("focus".equals(type)) {
            this.removeOldestZset(focusFeedKey);
            this.zSetRedisTemplate.zadd(focusFeedKey, feedDto.getCreateTime().getTime(), feedDto.getId());
        }
        // 取关
        else if ("unfocus".equals(type)) {
            this.zSetRedisTemplate.zrem(focusFeedKey, feedDto.getId());
        }


    }
}

上面展示的是核心代码,仅仅是为大家提供一个实现思路,并不是直接可运行的代码,毕竟真正实现还会涉及到很多其他的无关要紧的类。

来源:技术老男孩内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯