高并发架构规划经历

高并发处理的中心问题是在同一时间上有许多的恳求过来，然后咱们的体系要怎样抗住这些恳求带来的压力。本文从根底设备层、服务端架构层、服务运用层分别做了一个简单的整理，在每一层经过什么的方法去抗并发，给大家供给一个思路

这边文章首发在我微信大众号【后端体系和架构】中，点击这儿能够去往大众号查看原文链接，假如对你有协助，欢迎前往关注，更加方便快捷的接纳最新优质文章

一、高并发的说明和布景

高并发处理的中心问题是在同一时间上有许多的恳求过来，然后咱们的体系要怎样抗住这些恳求带来的压力。比方在线直播服务，一起有上百万乃至上千万人观看。比方秒杀品，一起有许多用户涌入。

高并发是从事务角度去描述体系的才能，完成高并发的手法能够选用分布式，也能够选用缓存等，当然也包括多线程、协程，但远远不仅如此；高并发的根本表现为单位时间内体系能够一起处理的恳求数，高并发的中心是对资源的有效压榨，有限的资源应对许多的恳求。

现代互联网服务，根本上都要考虑高并发问题，因为一般的产品，用户的恳求量都很大。

二、高并发架构规划经历

高并发架构规划，需求从三大层来建设和剖析

  • 根底设备层：这个是最根底的依靠，首要是一些服务的布置。针对大公司而言，一般都有成熟的体系和根底设备来承载，或许针对事务开发的同学来看，平时关注的的细节并不深化，可是不阻碍咱们从大局角度来剖析高并发的规划。

  • 服务端架构层：这个是咱们要点要关注的架构规划，架构规划不合理，就很难抗住高并发，首要包括各种架构和模块的规划。

  • 服务运用层： 这个首要是针对咱们写的代码来进行优化改进。从代码架构、代码功能等方便去抗并发。

2-1、根底设备层

布置：多 IDC + 异地多活

根底设备层一般包括了服务器、IDC、布置方法等等。目前而言，咱们一般都用容器布置的方法，而容器的底层才能根本也都是建立在 k8s 容器层之上的，服务本身的布置办理已经有成熟的设备帮咱们完成了。详细到布置方法，包括但不限于：

  • 多 IDC 布置。比方服务一起在广州、上海两地布置。 这个依靠咱们的服务是无状况的
  • 其他的参阅下 异地多活架构等相关布置。

监控：可观测性

体系的可观测性首要包括三个部分: logging、tracing、metrics。 这个一般都要引进可观测体系，这样才能协助咱们在反常的时分能够快速定位问题。属于必备设备，一般而言，公司应该都有专门的团队去做这个事情。

2-2、服务端架构层

服务端架构层是咱们要点要关注的，这个也是考量个人架构才能的最要害部分。

体系分层规划：分层、切割、分布式

  • 架构分层

    • 将体系在横向维度上切分红几个部分，每一层的功能职责要足够单一，然后经过上层对基层的依靠和调度组成一个完好的体系
    • 比方把电商体系分红：运用层，服务层，数据层。(详细分多少个层次依据自己的事务场景)
      • 运用层：网站首页，用户中心，产品中心，购物车，红包事务，活动中心等，担任详细事务和视图展现
      • 服务层：订单服务，用户办理服务，红包服务，产品服务等，为运用层供给服务支撑
      • 数据层：联系数据库，nosql数据库 等，供给数据存储查询服务

  • 事务切割

    • 在纵向方面对事务进行切分，将一块相对复杂的事务切割成不同的模块单元，对应的是模块的划分，经过合理的模块划分，使得每个模块都能能够满足 高内聚低耦合 的规划要求，这样不同的模块能够分布式布置，也能进步并发处理才能和功能扩展
    • 比方用户中心能够切割成：账户信息模块，订单列表模块，充值模块，优惠券模块等

  • 分布式

    • 分布式运用和服务,将分层或许切割后的事务分布式布置，独立的运用服务器，数据库，缓存服务器，当事务达到必定用户量的时分，再进行服务器均衡负载，数据库，缓存主从集群

集群架构规划：运用集群、数据集群

应对高并发体系，不管是运用层面仍是数据层面，单机都不或许搞定，因而都需求建立集群架构，然后经过负载均衡来对外供给服务。一起集群架构还能保证体系的可用性，当某台服务或许机器反常，负载均衡会自动除掉，不会影响对外服务。

  • 运用服务器集群

    • nginx 反向署理
    • slb
    • LVS …

  • 数据集群(联系/nosql数据库)

    • 主从别离，一主多从
    • 数据读写别离

数据库规划：读写别离+分库分表+冷热别离

应对高并发，数据的存储，首要就要做好预估，先进行分库分表 和 读写别离，最终能够依据状况来看是否冷热别离：

  • 读写别离。互联网体系大多数都是读多写少，因而读写别离能够协助主库抗量。一般咱们都是一主多从的架构，能够抗量，也能够保证数据不丢。分库分表只能处理 QPS 高，可是无法处理 TPS 高，比方写入的量足够大的话（TPS 高），就得读写别离。

  • 分库分表。数据存储量大的时分，就需求经过分库分表来存储。先分，避免后期要拆，后期拆的话，就面临洗数据的问题，就需求选用双写形式来搞定。

    • 分库分表形式虽然能明显进步数据库的容量，但会增加体系复杂性，而且因为只能支撑少数的几个维度读写，从某种意义上来说对事务体系也是一种约束，因而在规划分库分表方案的时分需求结合详细事务场景，更全面的考虑。

  • 冷热别离。针对事务场景而言，假如数据有冷热之分的话，能够将历史冷数据与当时热数据分开存储，这样能够减轻当时热数据的存储量，能够进步功能。

不过，既然是高并发体系，不能运用层直接读写 DB 的，必定有一个缓存在上面，假如直接读写 DB 能够搞定，其实不能叫高并发了，只能说是并发有点高。在非互联网体系里边仍是能够的。

缓存规划：多级缓存架构和本地缓存

缓存的最大作用是能够进步体系功能，保护后端存储不被大流量打垮，增加体系的伸缩性。缓存的规划，需求分多个思路并行

  • 首要要考虑的，便是必须在数据库之上，增加一层分布式缓存，比方 Redis 或许 Memcached。
    • 这儿需求考虑一下缓存和数据库一致性的问题。
  • 其次需求考虑的是多级缓存架构。分几级缓存规划，一起规划热点缓存架构。
    • 在分布式缓存之上，还能够加一个本地缓存，来缓存最热的数据
    • 选用多个分布式缓存来建立多级缓存。

音讯行列规划：MQ 抗量和削峰

针对流量突峰，仅仅有缓存来抗量或许还不够，还需求运用音讯行列来削峰。运用音讯行列后，能够将同步处理的恳求改为 经过消费 MQ 音讯来异步消费，这样能够大大削减体系处理的压力，增加体系的并发量。常用的音讯行列比方 kafka。

服务管理规划：超时、熔断、降级、限流等

超时、熔断、降级、限流等都是常规策略，能够在另外服务管理章节去细看。

资源阻隔规划： SET 布置

资源阻隔有各种类型，物理层面的服务器资源、中间件资源，代码层面的线程池、连接池，这些都能够做阻隔。

一般咱们最常见的便是运用布置层面的，比方 SET 化布置。一个服务对外的运用方或许有 A 事务、B 事务，那么怎么保证 AB 事务不会相互影响，那么便是 SET 化布置。 SET 化布置也能够避免非要害事务来影响要害中心事务。一个阻隔的维度能够是按事务场景区分，分为要害集群、次要害集群和非要害集群三类，这样能避免要害和非要害事务相互影响。

SET 化布置便是把事务体系分为多个可扩展的逻辑分区，每个 SET 化的逻辑分区都能够独立布置并供给服务，SET 也能够理解为 ”逻辑机房“ ，首要意图便是为了进行独立布置并且做到事务上的逻辑阻隔。

关于 SET 的详细比方：微信红包用户发一个红包时，微信红包体系生成一个ID作为这个红包的仅有标识。接下来这个红包的一切发红包、抢红包、拆红包、查询红包概况等操作，都依据这个ID关联。红包体系依据这个红包ID，按必定的规矩（如按ID尾号取模等），笔直上下切分。切分后，一个笔直链条上的逻辑Server服务器、DB统称为一个SET。各个SET之间相互独立，相互解耦。并且同一个红包ID的一切恳求，包括发红包、抢红包、拆红包、查概况概况等，笔直stick到同一个SET内处理，高度内聚。经过这样的方法，体系将一切红包恳求这个巨大的洪流涣散为多股小流，互不影响，分而治之，

2-3、服务运用层

多线程、线程同步、协程

并发问题一直是服务端编程中的要点和难点问题，为了优化体系的并发量，单机处理高并发问题从最初的 Fork 进程开端，到进程池/线程池，再到 Epoll 事件驱动(Nginx)，再到协程（如 Goroutine）。

对于 Go 言语，尽或许的多运用协程去进步并发才能。

异步化

音讯行列也是一种异步化操作，可是除了依靠外部的中间件如音讯行列，在运用内咱们也能够经过线程池、协程的方法做异步化，能异步的尽量异步处理，这样能够进步并发。

预处理：预加载、预热

体系的预热一般有JVM预热、缓存预热、DB预热等，经过预热的方法让体系先“热”起来，为高并发流量的到来做好预备。 预热实际运用的场景有许多，比方在电商的大促到来前，咱们能够把一些热点的产品提早加载到缓存中，避免大流量冲击DB。

还有一种预热的思路是使用事务的特性做一些预加载，比方 feeds 流改写的时分，提早加载 1-2 页数据，这样用户往下改写的时分，就感觉不到卡顿。

这边文章首发在我微信大众号【后端体系和架构】中，点击这儿能够去往大众号查看原文链接，假如对你有协助，欢迎前往关注，更加方便快捷的接纳最新优质文章

最终

本文正在参与「金石方案 . 瓜分6万现金大奖」