关于今日的分享主题——“安全出产”，内容首要分为三大部分：
-
榜首部分是安全出产的布景，以及咱们关于安全出产这个范畴的了解；
-
第二部分首要介绍阿里巴巴集团的安全出产作业到底是怎么开展的，借此给各位有作为参阅和借鉴；
-
第三部分是咱们提炼的安全出产全体计划，协助在座的各位去到咱们自身的企业或许环境下，去落地安全出产。
数字化安全出产布景
谈到安全出产，首要咱们要看一个行业大布景，其实刚刚我的搭档现已讲到了，便是现在各行各业都在做自身事务的数字化转型晋级。咱们的事务开端做上云、线上化，使用架构开端做云原生改造。当咱们每一个事务都跑到线上去之后，咱们就会发现，本来传统的安全出产理念及办理模式，也需求转变成线上化、数字化。
跟着线上化的系统越来越复杂，事务毛病无法防止。毛病的产生，对咱们企业的影响是巨大的，怎么样提高毛病的定位、处理才能及康复才能，是现阶段安全出产作业中最重要的方针。 在事务数字化转型晋级的进程中，咱们每个企业都应该同时去思考，怎样同步完结数字化安全出产系统的建造。
从事务视角的安全出产挑战说起
关于安全出产，从以上几个近期产生的毛病能够看到，不仅仅是咱们一般的企业，就算是在安全出产范畴重度投入的国内外大型互联网公司，也会呈现事务毛病。毛病产生之后不仅仅是事务中止、经济损失，舆情影响也会带来十分大的挑战。咱们怎么样来协助咱们把安全出产作业系统建造好？便是今日咱们评论的中心主题。
在阿里巴巴集团内部，经过十多年的探索，咱们沉积了一系列的产品和服务系统，以及安全出产建造的方法论。咱们总结出了“高可用、安稳压倒一切”，作为咱们面对事务侧安全出产挑战的辅导思想。
什么是数字化安全出产
今日咱们讲数字化安全出产，咱们或许榜首印象想到的安全出产仍是比较传统的。比方一些工厂、车间、煤矿或许建筑工地上，咱们经常会看到一些标语、海报和一些相关的理念。传统的安全出产，是指在出产经营活动中，为了防止构成人员损伤和财产损失的事故而采纳相应的事故预防和控制措施。
咱们今日评论的这个数字化安全出产，其实是跟咱们的事务数字化转型晋级是相结合的，首要解决企业事务连续性办理问题。 如产生预期或无预期的事故或灾祸时，企业以合理的本钱和资源保护重要的事务活动，确保在规矩的时刻内康复继续运转，最大程度地削减灾祸带来的冲击并将中止影响降至最低。
数字化安全出产，有以下几方面的特殊要求：
-
数字化赋能的安全出产。 事务从线下转移到线上之后，完结事务全生命周期触点的数字化改造。这时，安全出产的重心也会从线下转移到线上，同时安全出产作业自身也需求数字化赋能。
-
云原生加持的安全出产。 数字化转型带来了架构的晋级，一切的系统都在云上，都是使用先进的云原生、微服务架构规划的。咱们的安全出产渠道也需求同步晋级，去无缝联接适配云原生的产品才能，以及面向未来架构的扩展才能。
-
最佳实践的安全出产。 安全出产系统建造需求经过实践的查验。在阿里巴巴集团内部，咱们有个一百多人的团队，在安全出产建造方面继续探索，沉积了一套十分适合各行各业的最佳实践，而且还在继续演进。
数字化安全出产建造内容
依据以上探讨，为了做好安全出产作业，中心内容咱们拆解成三个部分，便是事前、事中、过后建造。
-
事前： 咱们要有相关的安排架构保障，要有事前的制度流程系统、系统架构的建造，需求具备相关系统的水位监测、毛病监测才能，以及与 SLA 匹配的防护、切流、改变管控办理才能。
-
事中： 咱们要做到敏捷快速协同，让毛病快速发现、快速定位、快速康复。比方在阿里内部，双十一或许说大的毛病场景，咱们一般需求协同上百人、甚至是上千人的团队。在这样的一个布景下，首要咱们需求共同的机制确保步调共同，以及上一位搭档说到的全链路监测（可观测）的才能，保障快速发现。别的还需求系统化的才能做事情处理进程的主动化协同，依靠系统的 trace 及拓扑才能完结快速定位，以及需求依靠系统的防护才能及单元化容灾多活，真实完结毛病的快速康复。
-
过后： 咱们需求去反思，总结根因，界说 action。每一个毛病应急完结后，咱们都需求做复盘，定级定责，产出系统改善项，确保咱们的整个架构继续迭代提高。关于办理者，咱们需求去分析毛病的原因是什么，处理进程的团队合作功率怎么样，分团队分产品的安稳性数据计算，然后确保咱们整个安全出产办理的系统是可衡量、可查核、可办理的。最终经过可视化的才能，方针化、大局化把控事务安全出产。
阿里巴巴集团最佳实践
阿里巴巴集团全球运转指挥中心
首要在安排保障层，咱们有一个安排叫全球运转指挥中心，也便是 GOC。在集团内部，有六十多个事务 BU 把一切安全出产相关的事务，接入 GOC 共同协同处理。
然后是咱们刚刚说到的监测（可观测），这是十分重要的一个环节。咱们会把一切的可观测，以及人工反应（比方淘宝客服、阿里云客服搜集的反应），会聚到共同的事情中心，使用系统化渠道做办理。
最终一切的毛病应急都会聚到两岸三地的指挥中心，相应的应急值勤同学，使用应急协同、毛病定位、快恢东西进行毛病应急与快恢处置，而且进行过后复盘与改善，经过机制运营等多种战略管控整个集团的安全出产危险事情。
安全出产系统大图
安全出产是一个完好的系统，凭借这个架构图给咱们做一个大致的介绍，集团的安全出产系统比较大，咱们把全体作业拆分成一个个小的模块。
首要有渠道的技能才能支撑。 经过前面的介绍，咱们了解了安全出产作业触及许多不同人物的人，来自不搭档务系统的可观测数据，安全出产办理需求压测、毛病应急协同、演练、定位、切流、复盘等才能，咱们集团内部有相应的一个渠道做有用的支撑。
在这个渠道上，建造各个范畴的系统，包含毛病办理、多活、全链路压测、改变管控等这些才能都是在这个大的渠道上面做共同的支撑，安全出产渠道的建造， 自身也是安全出产作业的数字化转型。
在渠道的上层，是相关的办理系统、数据运营、技能文化建造。 前期咱们在做安全出产作业的时分，最大的体感便是无法衡量，出了毛病之后无法定位是哪里出了问题、谁的问题，经过毛病等级界说、毛病分、安稳性分等机制系统及运营活动的建造，能够完结安全出产作业的可衡量可查核。
然后渠道和系统建造需求合作相关的演练来做标准化的查验， 确保这些系统和产品才能能够有用的落地并发挥作用。
安全出产中心要素
人员&安排
安全出产的中心首要有三部分，榜首部分便是人员安排的架构建造，咱们认为安全出产是企业的一把手艺程，需求建立一个自上而下的共同安排，能够把一切安全出产才能协同起来。
在集团内部，咱们是有这样一个垂直的安排架构，指挥中心是和每个事务 BU 平级的一个部门，然后下面有相应的支撑各个事务 BU 的专业人物，横向的话有安全出产的值勤长、仲裁委员会等这样的一些安排人物，确保咱们的系统能够有用落地。
制度&流程
第二部分首要是机制流程，集团经过十多年的建造，积累了十分多的制度流程。
-
全集团的共同的毛病等级界说： 为应急进程的资源调度、决策供给了量化的标准；
-
标准化的应急流程： 让事情处理快捷、有序；毛病分、安稳性分的查核标准，共同衡量安全出产的成果；
-
毛病定级、定责、争议协商机制： 确保了安全出产作业的长效机制。
东西渠道
最终一部分便是东西。集团的制度和流程不是仅仅停留在纸面，或许挂在墙上的。咱们一切的机制流程都是有相应的系统渠道做运转支撑，然后依据咱们的系统才能、机器人、NLP 技能等，做到有用的落地，把一切的这些机制落到实践的每一天的作业，每一个履行环节当中。
毛病等级界说
毛病等级界说是安全出产系统的运转基础。咱们把出产环境中，无论什么原因构成的服务中止或许服务品质下降及体验下降共同界说为毛病。咱们注意这是依据事务视角去界说的毛病，它的优点便是能够先于用户发现，比较传统的监测精确度更高。
然后再往基层的话，咱们会有许多支撑渠道，如中间件、数据库、云渠道、网络、服务器等等，基层的方针及毛病界说，咱们会依据各个事务的特点来针对性的做界说。可是总体准则仍是以事务影响为主，从上往下，只是基层系统的事务，一般就变成了上层系统的事务依靠。
依据毛病等级界说的基础，实践落地的时分，在集团内部有十分多细分品种。这儿简单罗列几个常用类别：P 序列表示通用等级界说、D 序列代表数据质量等级、S 序列代表影响重要客户程度、E 序列代表舆情等级、 I 序列基础设施相关等级。
每一个序列咱们一般有 4 个等级，4 代表一般毛病，1 代表严重毛病，数字越小紧迫程度越高、重要性越高。
在实践落地进程中，首要咱们要把一切的事务归入办理范围，对全量事务做毛病等级界说。毛病等级界说需求协同各个人物，包含开发、测试、产品、运维、事务依靠方等一起来做等级界说评审，确保提早达成共同。毛病等级界说正式发布之后，咱们就会依照这个等级去做投入和配套后端资源，一旦产生毛病，就能够依据等级主张不同的应急流程，和谐对等的资源参与应急。
每个事务场景毛病等级的确认，首要参阅事务重要性、影响面、继续时长来做归纳的判别。确认好的毛病等级界说要确保是结构化可衡量的，要跟全链路可观测做共同的协同，完结毛病主动发现。
一旦产生毛病之后，咱们会依据可观测方针，界说规矩，主动试算毛病等级，达到毛病标准后经过机器人的方式主动发送毛病布告，同时结合全链路可观测的拓扑才能、trace 才能供给开始定位辅佐。
1-5-10 机制
有了毛病等级界说咱们就能够精准识别事务的毛病危险，及时发现并处置。那么，如何衡量毛病处置的功率？这就触及到数字化安全出产中一个最中心的一个机制，毛病 1-5-10 机制。
在集团内部，一切的毛病产生之后，咱们定了一个查核方针，要求事务毛病 1 分钟发现并布告，相关人员 5 分钟内做出响应和开始定位，10 分钟完结毛病快速康复。然后依据这样的一个中心辅导机制，咱们再去向下做二级拆分，建造整个安全出产系统。
1-5-10 战略分解
1-5-10 首要重视“发现、定位、快恢”三大环节，再细分开来就会触及架构、开发、运维的多环节。 每个环节都有自身的事务规矩、相关的机制，以及有相应需求咱们建造的系统。
比方“1”部分首要是触及全链路可观测，也包含咱们平常比较重视的像智能基线、全链路监测，这些都是咱们在这个环节需求去做的。
然后第二部分的话，关于 5 分钟响应和定位，一般状况下咱们都是依据移动化的方式做布告，包含短信、电话、钉钉。然后还有协同的东西，咱们会依据钉钉机器人去做协同，使用 NLP 机器人技能做报到、应急进程交互，完结 ChatOps。
关于定位的话，咱们需求有可观测系统、预案系统、改变管控这样一些才能。一般状况下在渠道内产生一个毛病的话，咱们首要会收到一个毛病布告，然后的话咱们会收到毛病前相关的一些改变信息，系统会推送这个场景相关的预案，应急人员会依据可观测才能完结辅佐定位。
关于 10 分钟快恢部分，咱们最大的一个大招，便是单元化的切流，只有系统断定出毛病的影响面及预估康复时长不可承受，咱们能够依据单元化多活才能，做分单元切流，先康复后判别。别的小规模毛病也能够依据预案系统做部分的快恢。
最终的话便是咱们相关的运营机制建造与演练查验，运营机制也是安全上十分重要的一部分，它能够确保相关安全出产的才能能够继续的迭代。演练能够实时使用线上环境模拟毛病注入，查验系统及流程。
可查核的衡量标准
安全出产作业有一个很大的痛点便是无法衡量，一般咱们不知道哪个产品安稳性好，哪个团队做得好，更不知道未来的改善方向。依据以上的产品技能系统建造，咱们规划了许多运营标准。
-
毛病分： 每一个毛病产生之后，系统会主动评判一个分值，基本的计算逻辑便是影响面、继续时长、设定权重。它是一个结果方针，用来衡量产品和应急功率，经过继续的运营，咱们能够拟定团队的毛病分 quota 值，进而来设定安全出产相关的未来方针。
-
安稳性分： 由工程规划、架构、运维等范畴的 14 个方针构成。咱们会去抓每一个事务开发团队，规划环节的 cover review，运转环节的可观测覆盖率，发布进程中的灰度的才能以及过后的 action 完结率等方针，经过系统化的方式生成评判方针。安稳性分是进程方针，查核安全出产相关的投入状况。
毛病分和安稳性分基本上是最中心的两大方针， 是用来评判一个团队在安全出产范畴做得是不是合格的重要标准。此外还有许多事务可用性、熔断、改变管控等等一系列机制，这些机制都会跑到各自相关的系统渠道里边，完结主动化办理。
应急流程
关于应急流程，咱们会把一切的事情都归集到 GOC。事情接入首要有两品种型，一个是用户侧反应，这块是人工的部分，依据智能客服对接；另一部分是可观测告警，咱们对接了集团事务 BU 数十个监测系统。许多的告警数据进来之后，就触及到收敛、抑制和智能算法处理，再结合后台的机器人处理过滤，最终会融合到共同的渠道做毛病等级断定，事情或毛病会走钉群做协同，一般非紧迫事情走工单，系统之间会有相应的协同，处理进程经过知识库做有用的沉积，全流程数据经过大屏做共同可视化展现。
处理进程悉数在钉群里完结，毛病经过之后，相关人员需求群里报到，应急进程都会经过群里边来做共同呈现。一旦有重大毛病的话，咱们会晋级到咱们的高管群，协同更多的人。
机制运营
除了刚刚讲到的产品才能和相关的安排架构以外，机制运营也是安全出产作业十分重要的组成部分。咱们会有十分丰富的运营活动，各式各样的评奖，体现优秀的团队的经历能够得到分享，做得欠好的团队能够去总结改善，以此来确保安全出产的长效机制。
数字化安全出产系统建造计划
数字化安全大图
企业要做安全出产建造的话，中心分为两大部分 ：一部分是技能系统建造，一部分是服务系统建造。
技能系统部分，咱们需求构成共同的渠道。刚刚其实有个同学现已说到了，说现在企业里边监测系统十分多，各个事务都有。然后从使用层、中间层、数据库、云渠道、网络都有各自的系统。如果说咱们依照这样一个分散的方式去建的话，其实很难构成共同的应急指挥中心的作用。咱们主张是建一个共同渠道，然后这个渠道具备安全出产的各种可操作的才能，把各系统的事务才能整合起来，构成共同的指挥中心。
在服务这块的话，咱们要确保机制文化、安排架构能够有用支撑安全出产作业的落地。
数字化安全出产渠道
关于数字化安全出产渠道，咱们规划了一个框架，经过各个范畴的组装，整合现有才能，比方说可观测才能、预案、工单、事情办理，把它抽象成一个全体的渠道，人员及事情全生命周期共同办理。然后经过渠道咱们构成相应的事务范畴，支撑咱们各式各样不同的事务场景，服务于上层各式各样的事务，这个是共同的安全出产渠道建造的全体架构思路。
数字化安全出产系统建造-全生命周期服务规划
事前
企业需求在做远期规划的时分，把安全出产相关的产品架构、事务架构规划清晰，需求有相应的事务办理的思考。
事中
运转进程中，咱们要考虑系统才能建造，比方说演练、压测、限流、多活等等，确保咱们能够有用地评估和防范危险。
这儿介绍一个案例，便是这段时刻咱们比较了解的一个事务使用，疫情防控系统，如健康码、场所码、核酸检测。前期咱们会去给整个系统做压测，评估线上的容量水位。
评估的结果是线上出产系统的容量上线是 1 万 QPS，咱们即按这个流量准备系统资源，这个时分如果说峰值流量超越 1 万 QPS，那咱们会经过装备流量防护的才能，确保系统在极点状况下也不至于说整个崩掉。
然后再往上一层，如果系统关于 SLA 要求更高，那咱们还需求建造系统的双活才能，这是安全出产的一个大招。咱们要确保这个事务系统在极点状况下，全体崩掉的时分，咱们有相应的双活的站点能够接收事务。一切这些才能，都需求在共同的渠道里边来做相应的共同调度办理。
过后
最终一部分是过后相关的改善。这部分内容其实触及面也十分广，比方说咱们的应急协同才能的改善，产品架构的改善，整个办理机制的改善。改善是否准时完结，落地作用是否理想也是一个十分重要的闭环。咱们需求有渠道做相应的支撑。
数字化安全出产-全息可观测渠道
关于渠道才能建造，咱们把每一个重要环节拆开来看。首要是可观测，这部分的话其实便是刚刚咱们讲的 acos 的全链路监测，再弥补一点便是咱们的可观测不一定要依靠于某一个渠道，而是要把事务现场一切监测才能做有用整合。acos 完结兼容专有云 arms 使用监测，而且增强了事务、日志、异构监测系统的接入才能，经过可视化才能的提高，完结快速定位。
数字化安全出产-全链路压测
第二部分是全链路压测。咱们在做安全出产的进程中，最中心的内容之一是要先了解咱们的渠道到底是怎样的一个处理才能，咱们要摸清楚系统的水位，极限的承载才能。这样的话，真实事务的峰值流量到来时，咱们才能做到心中有数，轻松应对。
全链路压测在集团内的各种大促活动中都属于至关重要的环节，每次全链路压测都是在出产系统进行的，这样能够确保一切压测出来的数据是真实的，相应的短板和系统问题，跟线上的问题是如出一辙的，精确找到短板，提高事务系统全体的压力水位。
数字化安全出产-“1-5-10”应急和谐
这儿首要介绍 1-5-10 应急协同，安全出产系统在实践的建造进程中，首要咱们需求把人工反应的这个事情和告警共同的接入，然后从事务角度进行毛病等级界说，确保毛病的 1分钟快速发现，精确及时的布告。
在应急进程中，咱们会有相应的横向支撑才能，包含资源的拉通，跨团队、跨厂商的人员协同，devops 才能， Chatops 才能的植入，确保系统能够主动找到接口人，而且辅佐完结快速定位。
在建造初期，首要依靠于咱们自己的现有才能做有用整合。当然成熟的计划咱们都有，但不一定是说咱们起步要完全改版、重新开端，一般企业更需求依据咱们现有的现状来做。然后快恢部分包含相关的预案、容灾双活等相关的规矩才能。1-5-10 是安全出产建造中，最容易落地和最快速能够看到作用的部分。
数字化安全出产-流量防护
关于流量防护的才能，刚刚现已大约说到了一部分。
在现实环境中，为了应对突发流量峰值，咱们需求准备额外的资源。这个其实是一个本钱和功率的一个折中计划。有些事务或许咱们在建的时分就会评估一个事务的峰值，依据这个峰值，咱们或许不会无限量的来准备计算资源、存储资源，可是事务峰值来了之后，咱们又不或许让咱们的系统停止服务。
所以咱们就需求系统的限流才能，确保极点状况下事务可用，而且给运维操作预留扩容时刻。一般状况下，咱们再合作刚刚介绍的全链路压测，能够经过流量防护才能，合作咱们云原生容器化相关的弹性才能，来确保相关的流量洪峰能够平稳过渡，最大极限地支撑全体事务的安稳性。
数字化安全出产-容灾多活解决计划
容灾多活是安全出产的一个终极大招，当呈现大面积毛病的时分，如果咱们依靠独立的定位和康复才能，或许无法满意重要系统的 SLA，这个时分咱们就需求建造事务级的容灾多活。
在咱们高阶的容灾计划中，全体架构都是单元化的，也便是事务级异地多活的计划。可是许多企业一般主导计划仍是灾备，经过做数据库同步，存储复制，每个使用自己管自己的那一部分，来取得相关的容灾才能。
容灾多活系统中有一个总的管控渠道，把流量接入层，中间件以及数据库，做协同办理。能够了解为咱们是一个大的流量调度系统，然后确保在事务产生毛病之后，它能够主动地去做单个使用的流量调度，单个使用的相关事务切流能够自助化履行，切换进程渠道主动化完结，不需求使用做手艺调整。
多活建造在资源使用率、切换成功率、主动化程度方面都有显着的优势，也是个企业安全出产建造的终极方针。
