Spring Cloud Stream简介

2023/05/13

1. 概述

Spring Cloud Stream是一个构建在Spring Boot和Spring Integration之上的框架,有助于创建事件驱动或消息驱动的微服务

在本文中,我们将通过一些简单的示例介绍Spring Cloud Stream的概念和构造。

2. Maven依赖

首先,我们需要将Spring Cloud Starter Stream RabbitMQ Maven依赖项作为消息传递中间件添加到我们的pom.xml中:

<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-stream-rabbit</artifactId>
    <version>3.1.3</version>
</dependency>

我们将从Maven Central添加模块依赖项以启用JUnit支持:

<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-stream-test-support</artifactId>
    <version>3.1.3</version>
    <scope>test</scope>
</dependency>

3. 主要概念

微服务架构遵循“智能端点和哑管道”原则。端点之间的通信由RabbitMQ或Apache Kafka等消息传递中间件方驱动。服务通过这些端点或通道发布域事件进行通信

让我们来看看构成Spring Cloud Stream框架的概念,以及我们在构建消息驱动服务时必须了解的基本范例。

3.1 构造

让我们看一下Spring Cloud Stream中的一个简单服务,它监听输入绑定并向输出绑定发送响应:

@SpringBootApplication
@EnableBinding(Processor.class)
public class MyLoggerServiceApplication {
	
	public static void main(String[] args) {
		SpringApplication.run(MyLoggerServiceApplication.class, args);
	}

	@StreamListener(Processor.INPUT)
	@SendTo(Processor.OUTPUT)
	public LogMessage enrichLogMessage(LogMessage log) {
		return new LogMessage(String.format("[1]: %s", log.getMessage()));
	}
}

注解@EnableBinding将应用程序配置为绑定接口Processor中定义的通道INPUT和OUTPUT。这两个通道都是绑定,可以配置为使用具体的消息传递中间件或绑定器

让我们来看看所有这些概念的定义:

  • Bindings:以声明方式标识输入和输出通道的接口集合
  • Binder:消息传递中间件实现,例如Kafka或RabbitMQ
  • Channel:表示消息传递中间件和应用程序之间的通信管道
  • StreamListeners:bean中的消息处理方法,在MessageConverter执行特定于中间件的事件和域对象类型/POJO之间的序列化/反序列化之后,将自动调用来自通道的消息
  • Message Schemas:用于消息的序列化和反序列化,这些模式可以从某个位置静态读取或动态加载,支持域对象类型的演进

3.2 通信模式

指定到目的地的消息通过发布-订阅消息模式传递。发布者将消息分类为主题,每个主题由一个名称标识。订阅者表示对一个或多个主题感兴趣。中间件过滤消息,将感兴趣的主题传递给订阅者。

现在,可以对订阅者进行分组。消费者组是一组订阅者或消费者,由group id标识,其中来自主题或主题分区的消息以负载平衡的方式传递。

4. 编程模型

本节介绍构建Spring Cloud Stream应用程序的基础知识。

4.1 功能测试

测试支持是一个绑定程序实现,允许与通道交互并检查消息。

让我们向上面的enrichLogMessage服务发送一条消息,并检查响应是否在消息开头包含文本“[1]:”:

@RunWith(SpringJUnit4ClassRunner.class)
@ContextConfiguration(classes = MyLoggerServiceApplication.class)
@DirtiesContext
public class MyLoggerApplicationTests {

	@Autowired
	private Processor pipe;

	@Autowired
	private MessageCollector messageCollector;

	@Test
	public void whenSendMessage_thenResponseShouldUpdateText() {
		pipe.input()
			.send(MessageBuilder.withPayload(new LogMessage("This is my message"))
				.build());

		Object payload = messageCollector.forChannel(pipe.output())
			.poll()
			.getPayload();

		assertEquals("[1]: This is my message", payload.toString());
	}
}

4.2 自定义通道

在上面的例子中,我们使用了Spring Cloud提供的Processor接口,它只有一个输入和一个输出通道。

如果我们需要不同的东西,比如一个输入和两个输出通道,我们可以创建一个自定义处理器:

public interface MyProcessor {
	String INPUT = "myInput";

	@Input
	SubscribableChannel myInput();

	@Output("myOutput")
	MessageChannel anOutput();

	@Output
	MessageChannel anotherOutput();
}

Spring将为我们提供此接口的正确实现。可以使用@Output(“myOutput”)中的注解来设置通道名称。

否则,Spring将使用方法名称作为通道名称。因此,我们有三个通道,分别称为myInput、myOutput和anotherOutput。

现在,假设我们希望在值小于10时将消息路由到一个输出,而在值大于或等于10时将消息路由到另一个输出:

@Autowired
private MyProcessor processor;

@StreamListener(MyProcessor.INPUT)
public void routeValues(Integer val) {
    if (val < 10) {
        processor.anOutput().send(message(val));
    } else {
        processor.anotherOutput().send(message(val));
    }
}

private static final <T> Message<T> message(T val) {
    return MessageBuilder.withPayload(val).build();
}

4.3 有条件的调度

使用@StreamListener注解,我们还可以使用我们用SpEL表达式定义的任何条件过滤我们期望在消费者中的消息

例如,我们可以使用条件调度作为将消息路由到不同输出的另一种方法:

@Autowired
private MyProcessor processor;

@StreamListener(
  	target = MyProcessor.INPUT, 
  	condition = "payload < 10")
public void routeValuesToAnOutput(Integer val) {
    processor.anOutput().send(message(val));
}

@StreamListener(
  	target = MyProcessor.INPUT, 
  	condition = "payload >= 10")
public void routeValuesToAnotherOutput(Integer val) {
    processor.anotherOutput().send(message(val));
}

这种方法的唯一限制是这些方法不能返回值

5. 设置

让我们设置将处理来自RabbitMQ代理的消息的应用程序。

5.1 Binder配置

我们可以通过META-INF/spring.binders配置我们的应用程序以使用默认的Binder实现:

rabbit:\
org.springframework.cloud.stream.binder.rabbit.config.RabbitMessageChannelBinderConfiguration

或者我们可以通过包含此依赖将RabbitMQ的binder库添加到类路径中:

<dependency>
	<groupId>org.springframework.cloud</groupId>
	<artifactId>spring-cloud-stream-binder-rabbit</artifactId>
	<version>1.3.0.RELEASE</version>
</dependency>

如果没有提供Binder实现,Spring将使用通道之间的直接消息通信

5.2 RabbitMQ配置

要将3.1节中的示例配置为使用RabbitMQ绑定器,我们需要更新位于src/main/resources的application.yml:

spring:
    cloud:
        stream:
            bindings:
                input:
                    destination: queue.log.messages
                    binder: local_rabbit
                output:
                    destination: queue.pretty.log.messages
                    binder: local_rabbit
            binders:
                local_rabbit:
                    type: rabbit
                    environment:
                        spring:
                            rabbitmq:
                                host: <host>
                                port: 5672
                                username: <username>
                                password: <password>
                                virtual-host: /

输入绑定将使用名为queue.log.messages的交换机,输出绑定将使用交换机queue.pretty.log.messages。两个绑定都将使用名为local_rabbit的Binder。

请注意,我们不需要提前创建RabbitMQ交换器或队列。运行应用程序时,两个交换机都会自动创建

为了测试应用程序,我们可以使用RabbitMQ管理站点来发布消息。在交换机queue.log.messages的Publish Message面板中,我们需要输入JSON格式的请求。

5.3 自定义消息转换

Spring Cloud Stream允许我们为特定内容类型应用消息转换。在上面的示例中,我们希望提供纯文本,而不是使用JSON格式。

为此,我们将使用MessageConverter将自定义转换应用于LogMessage

@SpringBootApplication
@EnableBinding(Processor.class)
public class MyLoggerServiceApplication {
	// ...

	@Bean
	public MessageConverter providesTextPlainMessageConverter() {
		return new TextPlainMessageConverter();
	}

	// ...
}
public class TextPlainMessageConverter extends AbstractMessageConverter {

	public TextPlainMessageConverter() {
		super(new MimeType("text", "plain"));
	}

	@Override
	protected boolean supports(Class<?> clazz) {
		return (LogMessage.class == clazz);
	}

	@Override
	protected Object convertFromInternal(Message<?> message,
										 Class<?> targetClass, Object conversionHint) {
		Object payload = message.getPayload();
		String text = payload instanceof String
			? (String) payload
			: new String((byte[]) payload);
		return new LogMessage(text);
	}
}

应用这些更改后,返回到“Publish Message”面板,如果我们将标头“contentTypes”设置为“text/plain”并将有效负载设置为“Hello World”,它应该像以前一样工作。

5.4 消费者组

当运行我们的应用程序的多个实例时,每当输入通道中有新消息时,所有订阅者都会收到通知

大多数时候,我们只需要处理一次消息。Spring Cloud Stream通过消费者组实现这种行为。

要启用此行为,每个消费者绑定都可以使用spring.cloud.stream.bindings.<CHANNEL>.group属性来指定组名:

spring:
    cloud:
        stream:
            bindings:
                input:
                    destination: queue.log.messages
                    binder: local_rabbit
                    group: logMessageConsumers
                    # ...

6. 消息驱动的微服务

在本节中,我们将介绍在微服务上下文中运行Spring Cloud Stream应用程序所需的所有功能。

6.1 扩大规模

当多个应用程序正在运行时,确保数据在消费者之间正确拆分非常重要。为此,Spring Cloud Stream提供了两个属性:

  • spring.cloud.stream.instanceCount:正在运行的应用程序数量
  • spring.cloud.stream.instanceIndex:当前应用程序的索引

例如,如果我们部署了上述MyLoggerServiceApplication应用程序的两个实例,则两个应用程序的属性spring.cloud.stream.instanceCount应为2,属性spring.cloud.stream.instanceIndex应分别为0和1。

如果我们按照本文所述使用Spring Data Flow部署Spring Cloud Stream应用程序,则会自动设置这些属性。

6.2 分区

域事件可以是分区消息。这有助于我们扩展存储和提高应用程序性能

域事件通常有一个分区键,因此它最终与相关消息位于同一分区中。

假设我们希望日志消息按消息中的第一个字母(这将是分区键)进行分区,并分为两个分区。

将有一个分区用于以A-M开头的日志消息,另一个分区用于N-Z。这可以使用两个属性进行配置:

  • spring.cloud.stream.bindings.output.producer.partitionKeyExpression:对有效负载进行分区的表达式
  • spring.cloud.stream.bindings.output.producer.partitionCount:组数

有时要分区的表达式太复杂,无法只用一行编写。对于这些情况,我们可以使用属性spring.cloud.stream.bindings.output.producer.partitionKeyExtractorClass编写自定义分区策略。

6.3 健康指标

在微服务上下文中,我们还需要检测服务何时关闭或开始失败。Spring Cloud Stream提供了属性management.health.binders.enabled以启用Binder的健康指标。

运行应用程序时,我们可以在http://<host>:<port>/health查询健康状态。

7. 总结

在本教程中,我们介绍了Spring Cloud Stream的主要概念,并通过RabbitMQ上的一些简单示例展示了如何使用它。可以在此处找到有关Spring Cloud Stream的更多信息。

与往常一样,本教程的完整源代码可在GitHub上获得。

Show Disqus Comments

Post Directory

扫码关注公众号:Taketoday
发送 290992
即可立即永久解锁本站全部文章