全球数字经济进入高速发展期,已经成为推动经济发展的新增长极。云原生技术作为下一代云核算的技术内核,在加快推动各工业数字化转型中发挥着重要作用,云原生大数据技术产品也逐步迭代升级,开端引领工业变革的浪潮。
近期,诸多职业大会围绕大数据容器化相关话题展开讨论。字节跳动云原生核算团队也将在以下大会中进行讲演直播,欢迎关注。
RocketMQ 在字节跳动的运用与实践
沈辉 | 字节跳动根底架构研制工程师
会议:RocketMQ Summit 2022 全球开发者峰会
讲演时刻:7月21日(周四) 11:35-12:00
议题简介:本议题首要介绍 RocketMQ 在字节跳动内部的运用场景、面对的应战,在面对这些场景与应战的情况下,怎么将 RocketMQ 在字节跳动内部落地,共享首要包含字节跳动内部 RocketMQ 的落地架构、新增的组件以及字节内部版别相较于社区版别的差异等内容。
直播观看地址
Flink 流批一体在字节跳动的探究与实践
付振雄|火山引擎云原生核算产品经理
会议:GIAC 全球互联网架构大会
讲演时刻:7月23日(周六) 13:30-14:30
议题简介:在事务规模不断壮大,数据不断膨胀的布景下,数据的运用及管理本钱成为越来越多企业发展过程傍边的痛点问题。怎么降本增效,达到紧缩本钱和敏捷转化数据价值的双赢结果是当前的热议话题。Flink 作为支持批流一体的核算引擎,被越来越多企业挑选为流批一体解决方案中的重要一环。
听众收益:
- 了解 Flink 流批一体在字节跳动的探究与实践;
- 了解字节跳动根据 Iceberg 的数据存储的探究;
- 字节跳动云原生核算流批一体解决方案。
直播观看地址
根据 Zeppelin 的 Flink / Spark 云原生实践
陶克路|字节跳动根底架构研制工程师
王 正|字节跳动根底架构研制工程师
会议:ApacheCon Asia 2022
讲演时刻:7月29日(周五) 16:10-16:50
议题简介:
首要介绍怎么在 Kubernetes 环境之上根据 Zeppelin 构建作业开发管理渠道,并运转和管理 Flink/Spark on Native K8s 上的实践。
- Apache Zeppelin 介绍
- Apache Zeppelin 的云原生实践
- 根据 Zeppelin 的 Flink 云原生实践
- 根据 Zeppelin 的 Spark 云原生实践
直播观看地址
Cloud Shuffle Service 在字节跳动 Spark 场景的运用实践
魏中佳|字节跳动根底架构大数据开发工程师
会议:ApacheCon Asia 2022
讲演时刻: 7月30日(周六) 16:10-16:50
议题简介:
字节跳动内部首要运用 Spark 进行离线大数据处理,每天线上约有几十万的 Spark 作业。内部事务用户对 SLA 有清晰需求,如果破线将对事务产生较大影响。Shuffle 是 Spark 引擎的一个重要操作,在大规模作业下,开源 ExternalShuffleService(ESS) 的完成机制简单带来很多随机读导致的磁盘 IOPS 瓶颈、Fetch 恳求积压等问题,进而导致运算过程中经常会出现 Stage 重算甚至作业失败,继而引起资源运用的恶性循环,严重影响 SLA。此外,在字节跳动内部的在离线混部场景下,在线机器的磁盘容量等才能较小,运转中经常遇到磁盘满的问题。
在此布景下,字节跳动 Spark 团队一方面针对 ESS 做了很多的优化,包含 Shuffle 相关参数优化(削减随机读的恳求)、增加 Shuffle 限流等,大大提高了 ESS 在 SSD 集群的稳定性;另一方面在 HDD 磁盘/在离线混部等场景的集群中,提出了 Cloud Shuffle Service(CSS) 作为解决方案,即 Map Task 经过 Push 的方法将同一个 Partition 的数据推送到同一个 CSS 作业节点,Reduce Task 能够从对应的节点进行顺序读,大大提高了读取的功能和 Shuffle 的稳定性,有用保证了 SLA。
目前字节跳动内部的线上 Spark / Flink / MapReduce 均已接入 CSS。

直播观看地址