前言

在上个月完毕的 RocketMQ Summit 全球开发者峰会中,Apache RocketMQ 社区发布了新一代 RocketMQ 的才干全景图,为许多开发者论述 RocketMQ 5.0这一大版别的技能定位与开展方向。

阿里云基于全新 RocketMQ 5.0 内核的落地实践

在过去七年大规模云核算实践中,RocketMQ 不断自我演进,今日,RocketMQ 正式跨进 5.0时代。

从社区关于 5.0 版别的解读能够看到,在云原生以及企业全面上云的大潮下,为了更好地匹配事务开发者的诉求,Apache RocketMQ 做了许多的架构晋级和产品化才干的适配。那么怎么在企业的出产实践中落地 RocketMQ 5.0 呢?本篇文章的中心就音讯架构以及产品才干的云原生化,介绍了阿里云是怎么根据全新的 RocketMQ 5.0 内核做出自己的判断和演进,以及怎么适配越来越多的企业客户在技能和才干方面的诉求。

云原生音讯服务的演进方向

首要我们来看下云原生音讯服务有哪些演进?

面向未来,适应云原生架构的音讯产品才干应该在以下方面做出重要突破:

阿里云基于全新 RocketMQ 5.0 内核的落地实践

  • 大规模弹性:企业上云的实质是解放资源供应的担负和压力,专心于事务的集成和开展。作为音讯服务的运维方,应该为上层事务供应与模型匹配的资源供应才干,随同事务流量的开展供应最贴合的弹性才干。一方面能够解决面向不确定突发流量的体系风险,另一方面也能够完成资源利用率的提升。

  • 易用性:易用性是集成类中间件的重要才干,音讯服务应该从 API 规划到集成开发、再到装备运维,全面地下降用户的担负,防止犯错。低门槛才干翻开商场,扩展心智和群体。

  • 可观测性:可观测性对于音讯服务的一切参加方来说都很重要,服务供应方应供应鸿沟明晰、规范敞开的观测确诊才干,这样才干解放音讯运维方的担负,完成运用者自排查和鸿沟职责的明晰化。

  • 安稳性高 SLA:安稳性是出产体系必备的中心才干,音讯来说往往集成在中心买卖链路,音讯体系应该清晰服务的可用性、可靠性目标。运用方应根据清晰的 SLA 去规划自己的故障兜底和冗余安全机制。

立足于这个四个关键的演进方向,下面为我们全体介绍一下阿里云 RocketMQ 5.0 在这些方面是怎么落地实践的。

大规模弹性:供应匹配事务模型的最佳资源供应才干

音讯服务一般集成在事务的中心链路,比如买卖、付出等场景,这一类场景往往存在波动的事务流量,例如大促、秒杀、早顶峰等。

面对波动的事务场景,阿里云 RocketMQ 5.0 的音讯服务能够随同事务的诉求进行自适应完成资源扩缩。一方面在比较安稳的事务处理基线规模内,依照最低的本钱预留固定的资源;另一方面在偶尔存在的突发流量毛刺时,支撑自适应弹性,按量运用,按需付费。两种形式相互结合,能够完成安稳安全的高水位运行,无需一直为不确定的流量峰值预留大量资源。

阿里云基于全新 RocketMQ 5.0 内核的落地实践

除了音讯处理流量的弹性适应外,音讯体系也是有状态的体系,存储了大量高价值的事务数据。当体系调用压力变化时,存储自身也需求具备弹性才干,一方面需求保证数据不丢失,另一方面还需求节约存储的本钱,防止浪费。传统的根据本地磁盘的架构天然存在扩缩容问题,其一本地磁盘容量有限,当需求扩展容量时只能加节点,带来核算资源的浪费;其二本地磁盘无法动态缩容,只能根据事务侧流量的隔离下线才干缩减存储本钱,操作非常复杂。

阿里云基于全新 RocketMQ 5.0 内核的落地实践

阿里云 RocketMQ 5.0 的音讯存储具备天然的 Serverless 才干,存储空间按需运用,按量付费,事务人员只需求依照需求设置合理的 TTL 时刻,即可保证长时刻存储时的数据完好性。

集成易用性:简化事务开发,下降心智担负和理解本钱

集成易用性是一种体系规划束缚,要求音讯服务应该从 API 规划到集成开发、再到装备运维,全面地下降用户的担负,防止犯错。举个典型场景,在音讯行列例如 RocketMQ 4.x 版别或 Kafka 中,事务消费音讯时往往被负载均衡战略所困扰,事务方需求关注当时音讯主题的行列数(分区数)以及当时顾客的数量。由于顾客是依照行列粒度做负载均衡和任务分配,只要顾客才干不对等,或许数量不能平均分配,必定形成部分顾客堆积、无法康复的问题。

在典型的事务集成场景,客户端其实只需求以无状态的音讯模型进行消费,事务只需关心音讯自身是否处理即可,而不应该关心内部的存储模型和战略。

阿里云 RocketMQ 5.0 正是根据这种思想供应了全新的 SimpleConsumer 模型,支撑任意单条音讯粒度的消费、重试和提交等原子才干。

阿里云基于全新 RocketMQ 5.0 内核的落地实践

可观测性:供应鸿沟明晰、规范敞开的自助确诊才干

阿里云基于全新 RocketMQ 5.0 内核的落地实践

有运维音讯行列经历的同学都会发现,音讯体系耦合了事务的上游出产和下流消费处理,往往事务侧出问题时无法明晰地界定是音讯服务反常还是事务处理逻辑的反常。

阿里云 RocketMQ 5.0 的可观测性就是为这种模糊不确定的鸿沟供应解法,以事情、轨道、目标这三个方面为根底,依次从点、线、面的纬度掩盖链路中的一切细节。关于事情、轨道、目标的定义包括如下内容:

  • 事情:掩盖服务端的运维事情,例如宕机、重启、变更装备;客户端侧的变更事情,例如触发订阅、取消订阅、上线、下线等;

  • 轨道:掩盖音讯或许调用链的生命周期,展现一条音讯从出产到存储,最后到消费完成的整个过程,按时刻轴抓出整个链路的一切参加方,锁定问题的规模;

  • 目标:目标则是更大规模的观测和预警,量化音讯体系的各种才干,例如收发 TPS、吞吐、流量、存储空间、失败率和成功率等。

阿里云基于全新 RocketMQ 5.0 内核的落地实践

阿里云 RocketMQ 在可观测性方面也是积累良多,不仅首先支撑了完善的音讯轨道链路查询,而且在 5.0 新版别中还支撑将客户端和服务端的 Trace、Metrics 信息以规范的 OpenTelemetry协议上报到第三方Trace、Metrics中存储,借助开源的 Prometheus 和 Grafana 等产品能够完成规范化的展现和剖析。

安稳性 SLA:供应可评价、可量化、鸿沟清晰的服务保证才干

安稳性是出产体系必备的中心才干,音讯体系往往集成在中心买卖链路,音讯体系是否安稳直接影响了事务是否完好和可用。但安稳性的保证自身并不只是运维办理,而是要从体系架构的规划阶段开端整理,量化服务鸿沟和服务目标,只有清晰了服务的可用性和可靠性目标,运用方才干规划自己的故障兜底和冗余安全机制。

阿里云基于全新 RocketMQ 5.0 内核的落地实践

传统的根据运维手段的被迫保证方法,只能做基本的扩缩容和体系目标监控,对于音讯的各种复杂鸿沟场景,例如音讯堆积、冷读、广播等并不能很好的供应量化服务才干。一旦上层事务方触发这些场景,体系则会被打穿,从而丧失服务才干。

阿里云 RocketMQ 5.0 体系化的安稳性建设,是从体系规划阶段就供应对音讯堆积、冷读等场景量化服务的才干,确定合理的音讯发送 RT、端到端延迟和收发吞吐 TPS 才干等,一旦体系触发这些状况,可在接受规模内做约束和保护。

本篇文章从大规模弹性、集成易用性、可观测性和安稳性 SLA 等方面介绍了 RocketMQ 5.0 的演进和方向,一起针对性介绍了阿里云音讯行列 RocketMQ 5.0 在这些方面的实践和落地。


阿里云音讯行列 RocketMQ 5.0 现在已正式商业化,在功用、弹性、易用性和运维便捷性等方面进行了全面增强,一起定价比较上一代实例最高下降 50%,助力企业降本增效,以更低的门槛完成事务开发和集成。新一代实例支撑 0~100 万 TPS 规模自在伸缩、支撑突发流量弹性和存储 Serverless;在可观测性方面,支撑全链路轨道集成和自定义 Metrics 集成;在集成易用性方面,支撑新一代轻量原生多语言 SDK,愈加安稳和易用。

阿里云基于全新 RocketMQ 5.0 内核的落地实践

点击此处,即可进入 RocketMQ5.0 商业化版别发布会直播间~