SpringCloud Stream消息驱动
- 1、消息驱动概述
- 1.1 什么是SpringCloud Stream?
- 1.2 消息驱动的设计思想
- 1.2.1 标准的MQ
- 1.2.2 为什么用SpringCloud Stream?
- 1.2.3 Stream应用编程模型
- 1.2.4 Spring Cloud Stream标准流程套路
- 1.2.5 编程API和常用注解
- 2、案例说明
- 3、消息驱动之生产者搭建
- 3.1 新建cloud-stream-rabbitmq-provider8801模块
- 3.2 pom.xml
- 3.3 application.yml
- 3.4 主启动类
- 3.5 业务类
- 3.6 测试
- 4、消息驱动之消费者
- 4.1 新建cloud-stream-rabbitmq-consumer8802模块
- 4.2 pom.xml
- 4.3 application.yml
- 4.4 主启动类
- 4.5 业务类
- 5、消息分组与持久化
- 5.1 依照8002，clone一份8003出来
- 5.2 启动
- 5.3 消息重复消费案例
- 5.4 分组
- 5.4.1 分组原理
- 5.4.1 group配置
- 5.4.3 分组之后的测试
- 5.5 持久化
代码仓库地址
1、消息驱动概述
1.1 什么是SpringCloud Stream?
官方定义 Spring Cloud Stream 是一个构建消息驱动微服务的框架。应用程序通过 inputs 或者 outputs 来与 Spring Cloud Stream中binder对象交互。通过我们配置来binding(绑定) ，而 Spring Cloud Stream 的 binder对象负责与消息中间件交互。
通过使用Spring Integration来连接消息代理中间件以实现消息事件驱动。Spring Cloud Stream 为一些供应商的消息中间件产品提供了个性化的自动化配置实现，引用了发布-订阅、消费组、分区的三个核心概念。目前仅支持RabbitMQ、Kafka。
所以，我们只需要搞清楚如何与 Spring Cloud Stream 交互就可以方便使用消息驱动的方式。
一句话：屏蔽底层消息中间件的差异,降低切换成本，统一消息的编程模型。
官方文案：https://spring.io/projects/spring-cloud-stream#overview
https://cloud.spring.io/spring-cloud-static/spring-cloud-stream/3.0.1.RELEASE/reference/html/
1.2 消息驱动的设计思想
1.2.1 标准的MQ
- 生产者/消费者之间靠消息媒介传递信息内容
- 消息必须走特定的通道:消息通道MessageChannel
- 消息通道里的消息如何被消费呢，谁负责收发处理:消息通道MessageChannel的子接口SubscribableChannel，由MessageHandler消息处理器所订阅
1.2.2 为什么用SpringCloud Stream?
在没有绑定器这个概念的情况下，我们的SpringBoot应用要直接与消息中间件进行信息交互的时候，由于各消息中间件构建的初衷不同，它们的实现细节上会有较大的差异性。通过定义绑定器作为中间层，完美地实现了应用程序与消息中间件细节之间的隔离。通过向应用程序暴露统一的Channel通道，使得应用程序不需要再考虑各种不同的消息中间件实现。
通过定义绑定器Binder作为中间层，实现了应用程序与消息中间件细节之间的隔离。
1.2.3 Stream应用编程模型
应用程序通过inputs或者outputs与Spring Cloud Stream中的binder交互，通过配置来binding，Spring Cloud Stream的binder负责与消息中间件交互，如下图所示。
Stream对消息中间件的进一步封装，可以做到代码层面对中间件的无感知，甚至于动态的切换中间件(rabbitmq切换为kafka)，使得微服务开发的高度解耦，服务可以关注更多自己的业务流程
通过定义绑定器Binder作为中间层，实现了应用程序与消息中间件细节之间的隔离。
Binder层负责和MQ中间件的通信，应用程序Application Core通过inputs接收Binder包装后的Message，相当于是消费者Consumer；通过outputs投递Message给Binder，然后由Binder转换后投递给MQ中间件，相当于是生产者Producer。
Channel描述的是消息从应用程序和Binder之间的流通通道。
Stream中的消息通信方式遵循了发布-订阅模式
1.2.4 Spring Cloud Stream标准流程套路
- Binder:很方便的连接中间件，屏蔽差异
- Channel:通道，是队列Queue的一种抽象，在消息通讯系统中就是实现存储和转发的媒介，通过Channel对队列进行配置。
- Source和Sink：简单的可理解为参照对象是Spring Cloud Stream自身，从Stream发布消息就是输出，接受消息就是输入。
1.2.5 编程API和常用注解
组成 | 说明 |
Middleware | 中间件，目前只支持RabbitMQ和Kafka |
Binder | Binder是应用与消息中间件之间的封装，目前实行了Kafka和RabbitMQ的Binder，通过Binder可以很方便的连接中间件，可以动态的改变消息模型(对应于Kafka的topic，RabbitMQ的exchange)，这些都可以通过配置文件来实现。 |
| 注解标识输入通道，通过该输入通道接收到的消息进入应用程序 |
| 注解标识输出通道，发布的消息将通过该通道离开应用程序 |
| 监听队列，用于消费者的队列的消息接收 |
| 指信道channel和exchange绑定在一起 |
2、案例说明
这里我们假定你的RabbitMQ环境已经配置好了。
工程中新建三个子模块
cloud-stream-rabbitmq-provider8801， 作为生产者进行发消息模块
cloud-stream-rabbitmq-consumer8802，作为消息接收模块
cloud-stream-rabbitmq-consumer8803 作为消息接收模块
3、消息驱动之生产者搭建
3.1 新建cloud-stream-rabbitmq-provider8801模块
3.2 pom.xml
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-stream-rabbit</artifactId>
</dependency>
<!--基础配置-->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-devtools</artifactId>
<scope>runtime</scope>
<optional>true</optional>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<optional>true</optional>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
</dependencies>
3.3 application.yml
server:
port: 8801
spring:
application:
name: cloud-stream-provider
cloud:
stream:
binders: # 在此处配置要绑定的rabbitmq的服务信息；
defaultRabbit: # 表示定义的名称，用于于binding整合
type: rabbit # 消息组件类型
environment: # 设置rabbitmq的相关的环境配置
spring:
rabbitmq:
host: localhost
port: 5672
username: guest
password: guest
bindings: # 服务的整合处理
output: # 这个名字是一个通道的名称
destination: studyExchange # 表示要使用的Exchange名称定义
content-type: application/json # 设置消息类型，本次为json，文本则设置“text/plain”
binder: defaultRabbit # 设置要绑定的消息服务的具体设置
eureka:
client: # 客户端进行Eureka注册的配置
service-url:
defaultZone: http://localhost:7001/eureka
instance:
lease-renewal-interval-in-seconds: 2 # 设置心跳的时间间隔（默认是30秒）
lease-expiration-duration-in-seconds: 5 # 如果现在超过了5秒的间隔（默认是90秒）
instance-id: send-8801.com # 在信息列表时显示主机名称
prefer-ip-address: true # 访问的路径变为IP地址
3.4 主启动类
@SpringBootApplication
public class StreamMQMain8801
{
public static void main(String[] args)
{
SpringApplication.run(StreamMQMain8801.class,args);
}
}
3.5 业务类
发送消息接口
发送消息接口实现类：
@EnableBinding(Source.class)//理解为定义消息的推送管道
public class IMessageProviderImpl implements IMessageProvider {
@Resource
private MessageChannel output; //消息发送管道
@Override
public String send() {
String serial= UUID.randomUUID().toString();
output.send(MessageBuilder.withPayload(serial).build());
System.out.println("****serial: "+serial);
return serial;
}
}
Controller:
@RestController
public class SendMessageController {
@Resource
private IMessageProvider messageProvider;
@GetMapping(value = "/sendMessage")
public String sendMessage(){
return messageProvider.send();
}
}
3.6 测试
启动服务注册中心模块eureka7001
启动rabbitmq,开启web管理面板：rabbitmq-plugins enable rabbitmq_management
http://localhost:15672/
启动8001
访问：http://localhost:8801/sendMessage，多刷新几次之后观察控制台
4、消息驱动之消费者
4.1 新建cloud-stream-rabbitmq-consumer8802模块
4.2 pom.xml
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-stream-rabbit</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
<!--基础配置-->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-devtools</artifactId>
<scope>runtime</scope>
<optional>true</optional>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<optional>true</optional>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
</dependencies>
4.3 application.yml
server:
port: 8802
spring:
application:
name: cloud-stream-consumer
cloud:
stream:
binders: # 在此处配置要绑定的rabbitmq的服务信息；
defaultRabbit: # 表示定义的名称，用于于binding整合
type: rabbit # 消息组件类型
environment: # 设置rabbitmq的相关的环境配置
spring:
rabbitmq:
host: localhost
port: 5672
username: guest
password: guest
bindings: # 服务的整合处理
input: # 这个名字是一个通道的名称
destination: studyExchange # 表示要使用的Exchange名称定义
content-type: application/json # 设置消息类型，本次为对象json，如果是文本则设置“text/plain”
binder: defaultRabbit # 设置要绑定的消息服务的具体设置
eureka:
client: # 客户端进行Eureka注册的配置
service-url:
defaultZone: http://localhost:7001/eureka
instance:
lease-renewal-interval-in-seconds: 2 # 设置心跳的时间间隔（默认是30秒）
lease-expiration-duration-in-seconds: 5 # 如果现在超过了5秒的间隔（默认是90秒）
instance-id: receive-8802.com # 在信息列表时显示主机名称
prefer-ip-address: true # 访问的路径变为IP地址
4.4 主启动类
@SpringBootApplication
public class StreamMQMain8802
{
public static void main(String[] args)
{
SpringApplication.run(StreamMQMain8802.class,args);
}
}
4.5 业务类
@Component
@EnableBinding(Sink.class)
public class ReceiveMessageListener {
@Value("${server.port}")
private String serverPort;
@StreamListener(Sink.INPUT) //监听队列，用于消费者队列的消息接收
public void input(Message<String> message){
System.out.println("消费者1号，----->接收到的消息："+message.getPayload()+"\tport:"+serverPort);
}
}
测试8801发送消息8802接收消息
启动该模块
访问：http://localhost:8801/sendMessage
消息生产者：
消息消费者：
5、消息分组与持久化
5.1 依照8002，clone一份8003出来
cloud-stream-rabbitmq-consumer8803，该模块配置除了端口号，其他和8002完全一致，不赘述了。
5.2 启动
启动RabbitMQ
启动eureka7001模块
启动provider8801，consumer8002，consumer8003
发送消息之后观察两个消费者的控制台
可以发现，目前是8802/8803同时都收到了，存在重复消费问题
5.3 消息重复消费案例
比如在如下场景中，订单系统我们做集群部署，都会从RabbitMQ中获取订单信息，那如果一个订单同时被两个服务获取到，那么就会造成数据错误，我们得避免这种情况。这时我们就可以使用Stream中的消息分组来解决。
注意在Stream中处于同一个group中的多个消费者是竞争关系，就能够保证消息只会被其中一个应用消费一次。
不同组是可以全面消费的(重复消费)，同一组内会发生竞争关系，只有其中一个可以消费。
5.4 分组
5.4.1 分组原理
微服务应用放置于同一个group中，就能够保证消息只会被其中一个应用消费一次。不同的组是可以消费的，同一个组内会发生竞争关系，只有其中一个可以消费。
5.4.1 group配置
8802修改yml
8803修改yml
5.4.3 分组之后的测试
重启四个服务
访问：http://localhost:8801/sendMessage
发现8802消费者1收到消息
8803并没有收到
说明同组竞争配置是成功的。
结论：同一个组的多个微服务实例，每次只会有一个拿到消息。
5.5 持久化
通过上述，解决了重复消费问题，再看看持久化
停止8802/8803并去除掉8802的分组group: groupA，8803的分组group: groupA没有去掉
8801先发送4条消息到rabbitmq
先启动8802，无分组属性配置，后台没有打出来消息
再启动8803，有分组属性配置，后台打出来了MQ上的消息
到此，Spring Cloud Stream消息驱动就写完了。
