文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

SpringBoot中使用Redis Stream实现消息监听示例

2024-04-02 19:55

关注

Demo环境

仓库地址

https://gitee.com/hlovez/redismq.git.

POM依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>
	<parent>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-parent</artifactId>
		<version>2.4.3</version>
		<relativePath/> <!-- lookup parent from repository -->
	</parent>
	<groupId>vip.huhailong</groupId>
	<artifactId>redismq</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<name>redismq</name>
	<description>base redis stream mq</description>
	<properties>
		<java.version>1.8</java.version>
	</properties>
	<dependencies>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter</artifactId>
		</dependency>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-web</artifactId>
		</dependency>
		<dependency>
			<groupId>org.projectlombok</groupId>
			<artifactId>lombok</artifactId>
		</dependency>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-data-redis</artifactId>
		</dependency>

		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-test</artifactId>
			<scope>test</scope>
		</dependency>
	</dependencies>

	<build>
		<plugins>
			<plugin>
				<groupId>org.springframework.boot</groupId>
				<artifactId>spring-boot-maven-plugin</artifactId>
			</plugin>
		</plugins>
	</build>

</project>

这里是一个简单的Demo,所以关于redis的一些序列化配置就省略了。

配置监听消息类

配置监听消息类,这里类需要实现StreamListener接口,该接口下只有一个要实现的方法——onMessage方法,代码:

package vip.huhailong.redismq.redistool;

import lombok.extern.slf4j.Slf4j;
import org.springframework.data.redis.connection.stream.MapRecord;
import org.springframework.data.redis.stream.StreamListener;
import org.springframework.stereotype.Component;


@Slf4j
@Component
public class ListenerMessage implements StreamListener<String, MapRecord<String, String, String>> {

    @Override
    public void onMessage(MapRecord<String, String, String> entries) {
        log.info("接受到来自redis的消息");
        System.out.println("message id "+entries.getId());
        System.out.println("stream "+entries.getStream());
        System.out.println("body "+entries.getValue());
    }
    
}

配置完该类后我们再创建一个类将该监听器注入进去,代码:

package vip.huhailong.redismq.config;

import lombok.var;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.redis.connection.RedisConnectionFactory;
import org.springframework.data.redis.connection.stream.Consumer;
import org.springframework.data.redis.connection.stream.ReadOffset;
import org.springframework.data.redis.connection.stream.StreamOffset;
import org.springframework.data.redis.stream.StreamMessageListenerContainer;
import org.springframework.data.redis.stream.Subscription;
import vip.huhailong.redismq.redistool.ListenerMessage;

import java.time.Duration;


@Configuration
public class RedisStreamConfig {

    @Autowired
    private ListenerMessage streamListener;

    @Bean
    public Subscription subscription(RedisConnectionFactory factory){
        var options = StreamMessageListenerContainer
                .StreamMessageListenerContainerOptions
                .builder()
                .pollTimeout(Duration.ofSeconds(1))
                .build();
        var listenerContainer = StreamMessageListenerContainer.create(factory,options);
        var subscription = listenerContainer.receiveAutoAck(Consumer.from("mygroup","huhailong"),
                StreamOffset.create("mystream", ReadOffset.lastConsumed()),streamListener);
        listenerContainer.start();
        return subscription;
    }
}

代码分析:

首先将我们实现了StreamListener的监听器类注入。

subscription方法返回的是一个Subscription类型,它是与当前正在运行任务的链接,可以理解为订阅的链接,它有俩个方法

代码中的var是使用了Lombok的可变局部变量。主要是为了方便

StreamMessageListenerContainer: 消息侦听容器,不能在外部实现。创建后,StreamMessageListenerContainer可以订阅Redis流并使用传入的消息。 StreamMessageListenerContainer允许多个流读取请求,并为每个读取请求返回一个Subscription句柄。取消订阅最终将终止后台轮询。使用键和值序列化器转换消息以支持各种序列化策略。具体文档

__StreamMessageListenerContainerOptions: __ 它是上面4的选项,代码中pollTimeout表示轮询超时时间

create方法使用给定的RedisConnectionFactory和上面的配置选项创建侦听器。

接下来使用receiveAutoAck创建一个新订阅,注意这里接受到消息后会被自动的确认,如果不想自动确认请使用其他的创建订阅方式。该方法共有三个参数

代码中表示消费者来自名称为mygroup的组,消费者名称为huhailong,这里偏移量设置为了lastConsumed,它表示读取ID大于消费者组使用的最后一个元素的所有新到达的元素。

现在就可以运行项目来验证了,将项目运行起来后通过终端给对应key的stream添加一条消息

> XADD mystream * message springboot

这时可以看到spring boot的控制台打印除了一下消息:

message id 1615532778588-0
stream mystream
body {message=springboot}

说明侦听成功,它会一直处于监听状态,只要对应key的stream添加了新的消息都会被侦听到,到此也就简单的实现了消息队列功能。

监听俩个stream的实现

有网友想实现俩个或俩个以上的stream监听,可以这样实现(有其他更好的方法请留言评论,谢谢)
在上面监听一个stream的基础上在RedisStreamConfig类里增加监听方法,如下:

@Configuration
public class RedisStreamConfig {

    @Autowired
    private ListenerMessage streamListener;

    @Bean
    public Subscription subscription(RedisConnectionFactory factory){
        var options = StreamMessageListenerContainer
                .StreamMessageListenerContainerOptions
                .builder()
                .pollTimeout(Duration.ofSeconds(1))
                .build();
		initStream("mystream","mygroup");	//详细描述请看下方的问题补充——初始化key和group
        var listenerContainer = StreamMessageListenerContainer.create(factory,options);
        var subscription = listenerContainer.receiveAutoAck(Consumer.from("mygroup","huhailong"),
                StreamOffset.create("mystream", ReadOffset.lastConsumed()),streamListener);
        listenerContainer.start();
        return subscription;
    }

    @Bean
    public Subscription subscription2(RedisConnectionFactory factory){
        var options = StreamMessageListenerContainer
                .StreamMessageListenerContainerOptions
                .builder()
                .pollTimeout(Duration.ofSeconds(1))
                .build();
		initStream("mystream","mygroup");	//详细描述请看下方的问题补充——初始化key和group
        var listenerContainer = StreamMessageListenerContainer.create(factory,options);
        var subscription = listenerContainer.receiveAutoAck(Consumer.from("mygroup","huhailong"),
                StreamOffset.create("mystream2", ReadOffset.lastConsumed()),streamListener);
        listenerContainer.start();
        return subscription;
    }
}

记得创建该stream和对应的组,让后启动程序,在控制台模拟添加数据,如图:

模拟添加数据

然后idea控制台的打印可以看到分别接收到了来自不同的stream的消息

运行结果

其他类和配置与监听一个的时候相同,不需要改变。

【问题补充】确认完消息删除消息

消息确认完后消息实际上没有在redis中消失,这也是redis stream中的一个特性,如果要想真正的删除该消息,需要我们进行指定字段ID删除,如下:

在RedisUtil中添加删除方法:

public void delField(String key, String fieldId){
        redisTemplate.opsForStream().delete(key,fieldId);
}

然后再ListenerMessage中的onMessage方法里处理完消息后添加删除该消息的方法:

@Component
public class ListenerMessage implements StreamListener<String, MapRecord<String, String, String>> {

    @Autowired
    RedisUtil redisUtil;

    @Override
    public void onMessage(MapRecord<String, String, String> entries) {
        log.info("接受到来自redis的消息");
        System.out.println("message id "+entries.getId().getValue());
        System.out.println("stream "+entries.getStream());
        System.out.println("body "+entries.getValue());
        //下面是删除该消息的方法
        redisUtil.delField("mystream",entries.getId().getValue());
    }

}

【问题补充】自动初始化stream的key和group问题-最新更新-2021年12月4日

最近看到评论大部分有报找不到key和group的错信息,这个是因为没有初始化导致的,当时在写这个demo的时候为了简单测试直接写死了我已经存在的key和group,部分朋友不知道这个是需要初始化的,所以我更新了一下代码,增加了初始化key和group的方法,这样大家直接运行代码就可以了,不需要在做多余的操作。
RedisUtil中增加增加的代码:

public RecordId addStream(String key, Map<String,Object> message){
        RecordId add = redisTemplate.opsForStream().add(key, message);
        return add;	//返回增加后的id
    }

public void addGroup(String key, String groupName){
     redisTemplate.opsForStream().createGroup(key,groupName);
 }


public boolean hasKey(String key){
     if(key==null){
         return false;
     }else{
         return redisTemplate.hasKey(key);
     }

 }

然后再RedisStreamConfig中增加初始化方法,这里注意要判断key是否存在:

private void initStream(String key, String group){
	//判断key是否存在,如果不存在则创建
    boolean hasKey = redisUtil.hasKey(key);
    if(!hasKey){
        Map<String,Object> map = new HashMap<>();
        map.put("field","value");
        RecordId recordId = redisUtil.addStream(key, map);
        redisUtil.addGroup(key,group);
        //将初始化的值删除掉
        redisUtil.delField(key,recordId.getValue());
        log.info("stream:{}-group:{} initialize success",key,group);
    }
}

然后再上面配置监听的方法里调用这个初始化方法就可以了

@Bean
    public Subscription subscription(RedisConnectionFactory factory){
        var options = StreamMessageListenerContainer
                .StreamMessageListenerContainerOptions
                .builder()
                .pollTimeout(Duration.ofSeconds(1))
                .build();
        initStream("mystream","mygroup");	//调用初始化
        var listenerContainer = StreamMessageListenerContainer.create(factory,options);
        var subscription = listenerContainer.receiveAutoAck(Consumer.from("mygroup","huhailong"),
                StreamOffset.create("mystream", ReadOffset.lastConsumed()),streamListener);
        listenerContainer.start();
        return subscription;
    }

https://gitee.com/hlovez/redismq.git已更新,代码已优化整理上传

到此这篇关于SpringBoot中使用Redis Stream实现消息监听示例的文章就介绍到这了,更多相关SpringBoot 消息监听内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯