作者:阿里云音讯行列

前言

在 2023 年杭州云栖大会上,Confluent 成为阿里云技能协作伙伴,在此基础上,双方展开了深度协作,并在今天(3月1日)正式上线“云音讯行列 Confluent 版”。

经过将Confluent 在 Apache Kafka 范畴的专业技能及实战经验与阿里云强壮的云基础设施及服务体系相结合,依据 Apache Kafka 中心才能构建符合企业级规范的全托管音讯行列服务,为企业客户供给愈加高效、安全和兼容性更强的云原生音讯行列解决方案

概况请拜见: Confluent 与阿里云将携手拓宽亚太商场,供给音讯流渠道服务

什么是 Confluent Platform?

Confluent 是一家专注动态数据(Data In Motion)的公司,以开源技能 Apache Kafka 为中心打造实时的音讯流渠道,在业内有着深沉的影响力,已被金融服务、全途径零售、汽车和游戏等很多职业广泛运用。

Confluent Platform 是一个综合性的企业级数据流处理渠道,用户能够以实时、连续的流形式,轻松地访问、存储和办理数据。它由 Apache Kafka 的原始创立者开发,不只继承了 Kafka 的中心优势,还经过增加企业级特性来扩展其功用,同时大幅降低了对 Kafka 的办理和监控压力。Confluent Platform 经过引进高级特性,进一步增强了 Kafka 的才能,旨在加速运用程序的开发和集成,经过流处理完结数据转换,简化大规模的企业级操作,并满足严厉的体系结构要求。

Confluent Platform 让用户专注于从数据中获取事务价值,而不用担心底层机制问题 —— 例如,数据如何在不同的体系之间进行传输或集成?具体来说,Confluent Platform 极大地简化了包括将数据源接入 Kafka、构建流运用程序,保护、监控以及办理 Kafka 基础设施的整个进程。

Confluent Platform 已广泛运用于很多职业,如金融服务、全途径零售、自动驾驶、诈骗监测、微服务和物联网等。概况请拜见 What is Confluent Platform [ 1]

Confluent 成为现代技能栈的中枢神经体系

云音讯行列 Confluent 版正式上线!

Confluent Placement 在 《Forrester Wave™》报告中的方位

云音讯行列 Confluent 版正式上线!

《Forrester Wave™》报告由 Forrester Research, Inc. 版权一切。Forrester 和 Forrester Wave™ 是 Forrester Research, Inc. 的注册商标。Forrester 不对《Forrester Wave™》中所描绘的任何供货商、产品或服务进行背书。信息依据最佳可用资源,而且定见反映的是当时判断,或许随时发生变化。

Confluent Platform 与开源 Kafka 的功用对比

云音讯行列 Confluent 版正式上线!

云音讯行列 Confluent 版正式上线!

云音讯行列 Confluent 版发布速览

什么是云音讯行列 Confluent 版?

云音讯行列 Confluent 版是阿里云与 Apache Kafka 项目开创团队所创立的 Confluent 公司协作,在 Apache Kafka 中心才能基础上为企业供给的一站式、高效可靠的,集成音讯流式处理与大数据体系的一体化解决方案。

利用云音讯行列 Confluent 版,能够快速构建和扩展与出产集群规模相匹配的企业级 Kafka Confluent 集群,有用地应对以下常见痛点:

  1. 对云端全托管企业级 Kafka 服务有迫切需求

假如需求云端全面托管的企业级 Kafka 服务时, 云音讯行列 Confluent 版能够供给官方授权的 Confluent Platform 许可证,以经济高效的途径获取全套企业级特性。

  1. Kafka 集群搭建及运维复杂性挑战大

借助云音讯行列 Confluent 版的一站式服务, 在短短几十分钟内高效就能完结从机型选配、集群布置到音讯事件处理的全流程操作,这将极大地节约用户自行布置和办理集群大数据体系的所需时刻和成本投入。

云音讯行列 Confluent 版是一个流音讯渠道,能够安排办理来自不同数据源的数据,是一个安稳高效的体系。如下图所示,它由六个组件构成,分别为 Kafka Broker、Rest Proxy、Connect、Zookeeper、ksqlDB、Control Center。

阐明: 默认情况下,云音讯行列 Confluent 版集群 Kafka Broker、Rest Proxy、Connect、Zookeeper、ksqlDB、Control Center 组件的副本数分别为 3、2、2、3、2、1,也能够依据实践的事务需求设置适宜的副本数量。

云音讯行列 Confluent 版正式上线!

云音讯行列 Confluent 版有哪些优势?

  1. Apache Kafka 原厂商业化产品

Confluent 团队倾力打造,其对 Kafka 项目贡献了超过 80% 的代码量,并积累了逾百万小时的技能实战经验;在 Apache Kafka 基础上进行了深度扩展和强化,为企业客户供给安全、安稳且功用卓越的企业级流数据处理渠道。

  1. 高 SLA 保障,数据耐久化

保证音讯数据耐久化存储于音讯行列中,即便在海量音讯堆积情况下,仍可保持集群的高吞吐才能;供给全自动巡检运维保障体系,服务可用性 99.95%,保证事务连续性和数据可靠性。

  1. 免运维,易观测

供给中心链路健康巡检,集群自动确诊及异常告警;每个消费组都能够针对音讯堆积量设置监控和告警策略,以便及时发现和解决问题;供给完备的管控类 OpenAPI,完结各类资源的办理和运维。

  1. 开箱即用,无缝搬迁

全托管的 Confluent Platform 服务,无需搭建和运维基础设施环境,真实做到开箱即用;支撑无缝搬迁现有工作负载,无需修正任何代码,大幅降低了搬迁成本和技能危险,轻松享有云核算弹性扩展、高可用和全球布置等优势。

云音讯行列 Confluent 版的中心功用

  • 多言语开发: 支撑各种干流编程言语,如 Java、Python 和 Scala,便于开发团队运用熟悉的言语构建运用。
  • 丰厚的内置生态体系: 内置企业级 Connectors,MQTT 署理以及 Schema Registry 等强壮的生态东西。
  • 全兼容 Apache Kafka: 在 Apache Kafka 强壮功用基础上构建,并始终保持对 Apache Kafka 的兼容性。
  • 音讯流数据库 ksqlDB: 依据轻量级 SQL 句子的事件流数据库,极大地简化了数据流处理运用的构建进程。
  • 云资源弹性扩展才能: 依据强壮的云基础设施,获得灵敏且弹性的核算与存储资源,完结灵敏地按需扩展。
  • 企业级安全才能: 支撑 SSL 认证、RBAC 访问操控,以及可整合外部 LDAP,供给严厉的企业级安全保障。
  • 企业级解决方案售后支撑: 阿里云与 Confluent 一起供给全天候 24 x 7 x 365 专业客户服务和技能支撑。
  • 阿里云产品集成互联互通: 阿里云 Flink、Databricks、EMR 等渠道无缝集成进行数据消费和分布式核算。

云音讯行列 Confluent 版的运用场景

  • 通用数据流动性

    拥抱云核算,并维护一个耐久安稳的数据通道,以保证一切本地、混合云和多云环境中的数据同步。在逐渐搬迁到云端进程中,开发者能够充分利用先进的云核算东西,更高效地构建下一代运用程序。

  • 人工智能

    人工智能模型的功用优劣很大程度上取决于输入的数据质量。为人工智能体系和运用供给实时、上下文相关、高度管控、值得信赖的数据,能够高效地推动人工智能驱动的运用程序完结规模化出产与交付。

  • 客户洞悉与体验优化

    实时响应客户互动行为,构建一个全面详尽的数据视图,去标识化地分析客户,以高效的方法完结与客户的互动——实时跨一切数据孤岛和体系,供给个性化的体验。

  • 事件驱动型微服务

    经过采用松耦合的微服务架构规划,能够完结更高的敏捷性和更快的立异。运用 Confluent 将微服务彻底解耦,统一服务间的通讯规范,而且有用消除维护独立数据状况的繁琐需求。

云音讯行列 Confluent 版的版本阐明

云音讯行列 Confluent 版对外供给两个版本,不同版本供给的功用不同,价格也不相同,概况请拜见计费阐明 [ 2]

版本的功用对比如下:

云音讯行列 Confluent 版正式上线!

如何快速上手云音讯行列 Confluent 版?

  1. 集群资源规格评价

关于云音讯行列 Confluent 版集群来说,影响资源运用的要素很多,包括运用的事务场景、事务运用程序功用等,咱们结合一般场景给出云音讯行列 Confluent 版集群资源评价参考主张,协助用户在购买创立集群时评价集群规模。在集群创立完结后,仍然能够依据实践的资源运用率进行集群扩容来改变集群的资源装备。

  1. 购买和布置实例

在运用 Confluent 集群前,需求先购买和布置实例。布置完结后,在实例概况页面,经过登录操控台进行 Control Center 登录,对集群的主要操作将在 Control Center 中进行。

云音讯行列 Confluent 版正式上线!

  1. 权限办理

作为集群安全的一部分,云音讯行列 Confluent 版供给了用户办理功用,能够在操控台用户办理页面完结新增用户、删去用户等操作。此外,云音讯行列 Confluent 版还支撑 ACL 授权、RBAC 授权功用,支撑运用 Control Center 或许安装命令行界面(CLI)进行相关操作。

**在 Control Center 页面进行 RBAC 授权
**

云音讯行列 Confluent 版正式上线!

云音讯行列 Confluent 版正式上线!

云音讯行列 Confluent 版正式上线!

  1. 集群装备与运用

云音讯行列 Confluent 版支撑集群的网络访问与安全设置,跨集群进行数据的镜像和复制等操作,还能够经过云音讯行列 Confluent 版的中心办理服务 Control Center 进行集群的可视化监控,以及检测监控数据中的异常事件并装备告警,还能够运用 Schema Registry 办理 Schema,运用 KsqlDB 简略的、彻底交互式的 SQL 接口进行流处理操作。云音讯行列 Confluent 版也支撑安装命令行界面(CLI)进行相关操作。

Brokers Overview 查看 Producer、Consumer 监控目标

云音讯行列 Confluent 版正式上线!

依据 KsqlDB 运用的架构图

云音讯行列 Confluent 版正式上线!

阿里云和 Confluent 的协作始于 2021 年,双方联合发布了音讯流服务,用户能够经过阿里云商场获得 Confluent 音讯流渠道服务,在节约布置集群大数据软件成本的同时,大幅度提高开发效率,并以企业级安全性处理音讯流。

咱们诚邀我们点击此处,浏览云音讯行列 Confluent 版官网概况页了解更多产品功用与运用场景,也欢迎填写表单进行咨询:survey.aliyun.com/apps/zhilia…

相关链接:

[1]What is Confluent Platform

docs.confluent.io/platform/cu…

[2]计费阐明

help.aliyun.com/zh/apsaramq…

[3]阿里云音讯行列操控台

account.aliyun.com/login/login…