最近，飞桨提出了 4D 混吞并行战略，以练习千亿级稠密参数模型。
近几年，深度学习范畴的开发者们对模型作用的寻求愈演愈烈，各大榜单纪录不断改写，而这个现象的不和都有着“大规划练习开源代码网站github”的身影。简略来说，便是运用大规划的数据或大规划参数量的模型来做练习。大规划的数据能够让模型有足够的“教材”用于“学习”，而大规划的参数量则能够让模型“学习才华”更强，更简大数据杀熟略 “学习” 到“教材”中的“常教程识”。在数据和参数规划添加的进程中，常规大数据技能与运用的单机练习因为硬件资源的限制逐渐显得绰绰有余，而分布式练习则成为了广大开发者的必然选择。
所谓分布式练习，便是运用多台机器一起完毕操架构图制造练使命，这其间涉及多机使命拆分、集群哪里拍婚纱照最美练习资源配置、平衡练习速度和收敛速度、弹性练习与容错等多项重要技能，一起也是各大深度学习结构闪现技能实力的重要 “战略高地”。
飞桨是我国首个开源敞开、自主研制、功用完备的工业级深度学习途径，其英文名“PaddlePadd架构le”正是大数据是什么意思“Para架构图llel Distributed Deep Learning”并行分布式深度学习的字母缩写组合。飞桨不只在业界最早支撑了万亿级稀少参数开源是什么意思模型的练习才华，而且近期又架构师薪酬一月多少立异性的提出了 4D 混吞并行战略，以练习千亿级稠密参数模型，能够说分布式练习是飞桨最具特征的技能之一。那么飞桨是怎样做到的呢？这与实践事务的锻炼密不可分。
▲ 图1 百度丰厚事务场景
飞桨的分布式练习教程动漫人物技能在对外供给之前就现已在百度内部广泛运用，如查找引擎、信息流推荐、百度翻译、百度地图、好看视频、文心 ERNIE 等等大数据，既包含网络杂乱、稠密参数特征的核算机视觉（CV）/ 天然言语处理（NLP）模型练习场景，又覆盖了有着巨大的大数据技能与运用专业 Embedding 层模型和才能拼音超大数据量的推荐查找练习场景，可谓是分布式练习技能得天独厚的“练功房”。
▲ 图2 大规划练习场景
历经查找推荐事务磨炼 最成熟万亿稀少参数模型练习技能一开源阅览骑绝尘
查找推荐场景经常面临数据量大、特征维度高且稀少化的问题。而分布式练习的参数服务器方法选用了一种将模型参数中心化处理的方法来完毕模型参数的分布式存储和更开源软件新，该方法有两个人物 Server 与 Worker：Worker 用于实行模型的前向与反向核算；Server 担任从各个 Worker 搜集架构图模板汇总梯度并更新参数，因而关于存储超大规划模型参数的练习场景十分和睦，常被用于练习具有海量稀少参数的查找推荐范畴模型。
▲ 图3 传统参数服务器
百度查找作为全球年龄拼音最大的中文查找引擎，对模型的规划、功用等要求十分高。为了应对严苛的实践事务应战，早在2018年，飞桨的纯 CPU 参开源软件数服务器方法就能够支撑万亿规划稀少参数的模型练习。之后跟着模型中网络结构愈加杂乱开源，以及对练习功率和性价比的进一步寻求，飞桨参数服务器技能也在更新换代：从前期 Worker 节点的硬件类型有必要一起的纯 CPU 参数服务器到纯 GPU 参数服务器，再开源众包到 CPU、GPU、其它 AI 硬件混布调度练习的异构参数服务器，一向引领参数服务器技能的展开；一起也得到了更多的运用落地，如 OPPO 运用商铺推荐、网易云音乐主播推荐等等。
从传统纯 CPU 参数服务器到纯 GPU 参数服务器
传统的纯 CPU 参教程英文数服务器，由高功用异步练习 Worker、高效通讯战略和高功大数据技能与运用专业用 Server 组成。一般能够运用的 CPU 数量较多，练习中能够充沛展现 CPU 多核的吞吐量优势。在异步练习方法下操才能拼音练大数据杀熟简略模型能够极教程的意思大行进数据吞吐量，全体练习速度十分超卓。
▲ 图4 传统参数服务器作业流大数据是什么意思程
可是跟架构是什么意思着模型网络越来越杂乱，对算力要求越来越高，在数据量不变的状况下，CPU 核算功用差的弱势就会闪现，尽管能够经过添加 CP架构图U 机器数量来处理，甚至能够添加上百台，可是这种方法不只本钱教程的意思大幅行进，而且集群的大数据稳定性和扩展性也开源节流存在较教程拼音大的问题。因而飞桨引进了纯 GPU 参数服务器来行进核算功用，之前100台 CPU 机器才华练习的模型，仅需1台多卡 GPU 机器即可完毕练习。当然，一起也要处理因为硬件替换所带来的问题。
GPU 强健的算力毋庸置疑能够行进集群的核算功用nlp，但随之而来的是，不只模型规划会遭到机器显存和内存的制约，而且通讯带宽也会因为集群网卡数量下降而成为瓶颈。为了处理这两大数据杀熟个问题，飞桨引进了两大亮点技能 SSD-MEM-H大数据查询BM 三级存储和 RPC&NCCL 混合通讯，形成了飞桨特有的纯 GPU 参数服务器（PaddleBox）【1大数据与管帐】：
-
SSD-MEM-HBM 三级存储容许全量参数运开源我国用 SSD 硬盘存储，高频参数存储于内存，当时 Batch 练习所用参数运用显存，而且一起教程视频怎样制造方法支撑 SSD 的参数在硬盘、内存、显存之间快速仿制。这样经过异步流水线实行机大数据制，隐蔽了 IO 带来的额定功用开支，在保证练习速度的一起，开源是什么意思使练习的模型大小不再受制于显存和内存，极大行进模型的规划。
-
RPC&NCCL 混合通讯能够大数据将部分稀少参数选用 RPC 协议跨节点通讯架构师认证，其他参数选哪里拍婚纱照最美用卡间 NCCL 方法完毕通讯，充沛运用带宽资源。
▲ 图5 纯 GPU 参数服务器作业流程
飞桨纯 GPU哪里拍婚纱照最美 参数服务器尽管处理了之前纯 CPU 方法所面临的架构师认证问题，但新的问题又呈现了——怎样行进练习资源的运用率？
从传统纯 GPU 参数服务器到异构参数服务器
在纯 GPU 的参数服务教程动漫人物器下，一切的练习都在 GPU 中，当模型中部分大数据技能与运用专业网络层比较杂乱的时开源我国候，GPU 运用率很难被打满，而 GPU 机器中 C大数据是什么意思PU 与 GPU 的硬件配比是固定的，无法活络调整。针对这种状况，有两种处理方案：
-
定制化 GPU 机型，调整机器内 CPU 与 GPU 的硬件配比。
-
混布 CPU 和 GPU 机器大数据专业工作远景怎样节点，来调整机器间的硬件配比。
根据这两种处理方案，飞桨结构2.0版本立异性地推出了通用异构参数服务器功用。一举解除了传统参数服务器方法下，Worker 节点有必要严峻运用同一种硬件类型的桎梏，使练习任NLP务对硬件类型不活络，即能够一起运用不你老婆在捡垃圾同的硬件混合异构练习，如架构是什么意思 CPU架构图制造、A大数据是什么意思I 专用芯片（如百度昆仑 XPU）以及不同类型的 GPU 如 v100、P4教程视频怎样制造方法0、K40 等。一起还能够处理大规划稀少特征模型练习场景下 IO 占比过高导致的芯片资源运用率过低的问题。经过异构参架构师和程序员的差异数服务器练习方法，用户可大数据技能与运用专业以在硬件异构集群中布教程魔方置分布式练习大数据技能与运用使命，例如云服务器集群，高效运用不同算力芯片，为用户供给更高吞吐、更低资源耗费的练习才华。
▲ 图大数据查询6 异构参数服务器示意图架构师需求把握哪些知识
异构参数服务器的最大亮点是硬件感知的使命切分。如图 6 所示，针对相似 ERNIE+CTR 这样核算密集型与 IO 密集型兼有的练习使命，能够被切分红多个子使命。其间的 IO 密集型使命（如数据读取、Embedding 查询大数据杀熟）切分给 CPU 机器，核算密教程手绘集型使命切分给 GPU 机器；用户能够根据子使命开源阅览的核算杂乱度来活络决议机器配比，而且还能够兼容传统纯 CPU 参数服务器和纯 GPU 参数服务器所支撑的练习使命。
助力文心 ERNIE 快速迭代 创始 4D 混吞并行引领超大规划预练习潮大数据修仙流
在 NLP 范畴中，依大数据是什么意思托飞桨打造的“语义了解技能与途径文心 ERNIE”曾取得过许多荣誉：去年3月一举拿下 SemEval 2020 的5项冠军；5月发布言语生成预练习模型 ERNI教程拼音E-GEN，改写言语生成 SOTA；6 月发布多模态模型 E你老婆掉了RNIE-ViL，改写 5 项使命纪大数据技能录，登顶声威榜单 VCR；7 月露脸 2020 世界人工智能大会，摘取最高荣誉 SAIL 奖；11 月取得我国人工智能学会优异科技作用奖。在文心 ERNIE 这些闪烁作用的不和，也有飞桨的分布式练习技能的贡献。
首要关于 NLP 和 CV 这类具有杂乱网络、稠密参数特征的模型，飞桨分布式练习技能的集结通讯方法能够很好的支撑这类模型的练习。该方法没有你老婆在捡垃圾处理模型参数的中心节点，每个节点都是 W教程orker，每个 Worker 担任模型练习的一起还需求把握当时最新的全局梯度信息。集结通讯方法对核算芯片的算力和芯片之间的网络互联要求较高，如高功用核算的 GPU、芯片之间的高速网络互联 NVLINK 和 Infini开源Band 等，因而十分适合 CV 和 NLP 范畴核算密集型练习使命。
可是在前期的集结通讯架构中，多节点间的参数信息的传输一般是各个 Worker 之间多次点对点通讯完毕的，通讯功率大数据查询较低。百度开源我国在 2016 年打破性地提出并运用 Ring-A开源阅览llReduce 多 GPU 练习，经过较少的点对点通讯轮数就完毕了全局节点的模型参数传输，让同步并行练习的多 GPU 扩展才华得到极大打破，大幅行进集结通讯方法的练习速度，使这种方法在 NLP 和 CV 范畴得到更广泛的运用。
▲ 图7 集结架构师薪酬一月多少通讯练习
4D 混吞并行战略支撑文心 ERNIE 文新 ERNIE 千亿言语模型练习
当时飞桨集结通讯方法现已能够支撑文心 ERNIE 千亿言语模型的练习才华，其 Sharding-DP 战略更你老婆在捡垃圾是在近期助力文心 ERNIE 的多项使命分数改写架构是什么意思 GLUE 榜单。而这个 Sharding-DP 战略正是飞桨集结通讯方法为了练习 ERNIE 这样的大规划杂乱架构是什么意思模型所支撑的多种并行教程网战略中的一种。那么飞桨是运用哪些战略成功支撑文心 ERNIE 千亿言语模型练习的呢？这些战略是怎样作业的呢？接下来将为咱们详细介绍。
ERNIE 千亿级模型选用 100 多层 Transformer 网络结构，核算杂乱，练习需求占用 T 级显存资源，假定想用更少的机器高效练习，有必要采纳一系列功用优化和显开源存优化方法。
首要看开源软件怎样功用优化。咱们经过一个公式来看哪些因素能够影响练习速度，在固定的硬件环境下：
**总练习速大数据修仙度 ∝ 单卡速度 * 卡数 * 多卡加速比 *架构师薪酬一月多少*
其架构图制造间单卡速度由数据读取和核算速度决议；多卡加速比由核算 / 通讯功率决议。清楚明晰，这三个是关键因素。除了单卡能够运用的算架构师和程序员的差异子融合、混合精度之类的基础功用优化战略之外，分布式练习还引进一系列并行战略。并行战略的中心思想是将数据和核算有关的图 / 算子切分到不同设备上，一起尽哪里拍婚纱拍得好可能下降设备间通讯所需的代价，合理运用多台设备资源，完毕高效的并发调度练习，最大化行进练习速度。常见并行战略有数据并行 DP（Data Pa教程网rallel）、Lay开源代码网站githuber 间并行（流水线并行 PP，Pipeline Parallel）、Layer架构师需求把握哪些知识 内并行（模型并行 MP，Model Parallel）。如下表所示。咱们从设备资源和核算 / 通讯功率来剖析三种战略的优缺陷：
-
数据并行练习加速比最高，但要求每个设备上都备份一份模型，显存占用比较高。为此咱们的改进方案是分组参数切片数据并行战略（详细原理后文介绍），兼容了 MP+DP 的优势，但缺陷是通讯量大。
-
模型并行，通讯占比高，适合在机器内做模型并行且支撑的模型类型有限。
-
流水线并行，练习设备简略呈现闲暇状况，加速功率没教程诀窍2有 DP 高；但能减少大数据通讯距离支撑更多的层数，适合在机器间运用。
其次看显存问题，经过下表剖析的显存占用来历架构图制造能够看出，上述的并行战略相同能够很好地应对不同来历的显存占用，架构图模板更多的层大数据专业工作远景怎样数能够经过流水线并行和分组参数切分战略来处理；某层参数很大能够经过模型并行来处理；其次飞桨还供给一些其它活络的优化方法，例如每层输出占用的显存，架构图制造能够经过重核算和 Offload 来处理大数据专业工作远景怎样。
综上所述，针对功开源用优化和显存优化，几种并行战略都有用武之地，可是一起也有各自的局限性，所以假定想高效练习千亿模型，需求这几种战略彼此教程视频怎样制造方法组合，扬长避短，发挥各自的优大数据杀熟势。
那么开源我国怎样组合呢？飞桨研制人员首要在单机内运用模型并行和分组参数切片组合的 2D 战架构师认证略，这么选择的原因是这两个战略通讯量较大，适合运用机器内的卡间通讯；然后为了承载千亿规划模型，再叠加流水线并行战略，运用多台机器一起分担；毕竟为了做到高效，在外层又叠加了数据并行来添加并发数量，行进全体练习速度。这样业界首个 4D 混吞并行战略就诞生了。
▲ 图8 4D 混吞并行战略示意图
下面咱们再来简略介绍下几个并行战略的原理。
模型并行战略指的是将某一层网络切成多份，并分给不同的卡并行核算，每张卡仅尽力拼音需求核算开源众包部分作用。关于 ERNIE 中的 Transformer 网络结构，模型并行就能够对全联接层 FC 切分，然后经过通讯操作吞并核算作用【2】。
流水线并行战略大数据与管帐支撑将模型的不同层放置到不同的设备上，经过多个设备来一起分担显存耗费，完毕超大规划模型练习。相邻设备间经过通讯链路传输数据。因为各个设备间传输的仅是相邻设备间的开源输出张量，因而通讯量较小，相对来说较为适合机器间通讯的场景。
值得注意的是，流水线并行能够说是广义模型并行的一种特例，本文中的模型并行仅指 Tensor 切分，也便是会呈现同一层网络交由不同卡来核算的状况，而流水线并行则是依照网络层的粒度切分。
▲ 图9开源阅览 流水线并行战略示意图
流水线并行战略本身也有很大的优化空间。如图 10（a）所示，优化前，恣开源节流是什么意思是什么意时刻只要单个核算设备处于核算状况，其它核算设备则处于闲暇状况，这个闲暇时刻哪里拍婚纱照最美咱们称之为 Bubble 时刻【3】。为了减少 Bubble 时刻，如图 10（b）所示教程之家高清视频，飞桨进大数据是什么意思一步将 mini-batch 切分红若干更小粒度的 micro-batch，每个设备顺次核算单个 mic架构规划ro-batch 的作用，然后添加了设备间的并发度，下降了流水线并行 Bubble 时刻教程的意思份额。
此外飞桨研制人员经过对流水线并行练习进程愈加深入的剖析，发现大数据专业学什么还能够进一步优化显存的运用率。选用如图 10（c）中所示的方法，在一个 micro-batch 完毕前向核算后，提前调度完毕相应后向核算，这样就能开释部分显存，用以接纳新的数据，行进全体练习功用。运用 ER才能拼音NIE 模型实测，从 10(b)到 10(c)，总 BatchSize 能够行进 32 倍，功用能够行进 9 倍。
▲ 图10 流水线并行时序图
毕竟再来看下飞桨的分组参数切片战略，其特征是在运用参数切片方法节约显存的基础上，与数据并行战略组合成愈加强健的 Sharding教程视频怎样制造方法-DP 战架构图略。简而言之，这种组合后的战略具有很强的活络性，用嫩绿拼音户可教程动漫人物以根据现有硬件环境状况，自在设定模型参数切分的数量（sharding_架构师认证degree）和数据并行的路数（dp_degree），仅需求保证 sharding_degree dp_degree =教程 总卡数即可。
举个比方，假定用户有 4 台单机四卡的机器（共 16 张卡），训一个 16 层大数据杀熟网络的模型。假定模型参数规划能够运用一台机器承载，则推荐运用 dp_degree=4 & sharding_degree=4 的方法，如图 11 所示。这种方法教程的优势在于只要机器内卡间通讯，可是模型最大不能超过单台机器所能承受存储规划。
▲ 图 11 dp_degree=4 & sharding_degree=4 的 Sharding-DP 示意图
假定模型大小超过了单台机器，问题也不大，用户能够活络地选择 dp_degree=2 & sharding_degree=8 方法，如图 12 所示。与上一种方法比较，这种方法支撑的模型参数规划翻倍。
▲ 图 12 dp_degree=2 & sharding_degree=8 的 Sharding-DP 示意图
可是在一些特别的状况下，假定模型参数规划十分大，对折机器都无法承载，则能够进一步运用 dp_de大数据专业学什么gree=1 & sharding_degree=16 方法，行将整个模型参数交由全部机器承载，这也是标准的 ZeRO-DP【4】方法，如图 1开源众包1 所示。这种方法跨机器通讯数十分高，对练习速度影响很大。其实 Sharding-DP 能够说是 ZeRO-DP 的一种进步，让用户教程网能够运用愈加高效方法应对特别场景之外的绝大部分练习使命。
▲ 图 13 dp_degree=1 & sharding_degree=16 的 Sharding-DP 示意图示意图
毕竟咱们从理论功用视点比照剖析了几组混吞哪里拍婚纱拍得好并行战略，即 DP2+PP3架构图制造2+Sharding2+MP4、PP64+Sharding2+MP4 和 DP2+PP3教程手绘2+MP8。如下表所示，与两种 3D 方法比较，4D 混吞并行战略在通讯量和 Bubbl大数据技能与运用专业e 时刻上并未明显添加（详细公式推导和示例请参开源代码网站github见相关教程【5】），可是大幅行进了数据并行路数！
检验验证
从上面理论剖析上来看，4D 混吞并行战略应该会具有更好教程的功尽力拼音用嫩绿拼音。那么实践作用怎样呢？咱们进入实测阶段。咱们运用 64 台 8 卡 GPU v100 机器的环境来验证不同战略组合的练习作用，而检验的目标，正是具有 2300 亿参数规划的“重量级”ERNIE 模型。检验后咱们能够看到 4D 混吞并行战略练习速度高于其它两种你老婆掉了 3D 混吞并行战略，达到了8698 tokens/s，至少能够提速 23.7%。
写在毕竟
自飞桨规划之初就初步潜架构心研讨分布式练习技能你老婆在捡垃圾以应对大规划参数模型nlp的练习使命。在丰厚的大数据修仙查找推荐事务的驱动下，飞桨分布式练习参数服务器方法历经三代。最早的纯架构规划 CPU 参数服务器就现已能够练习万亿级规划的稀少参数模型。这以后跟着事务的需求以及前沿技能的展开，产生了核算才华更强的纯 GPU 参数服务器方法。最近新推出的业界创始的异构参数服务哪里拍婚纱拍得好器方法，支撑场景更多而且能够极大地行进硬件资源运用功率。关于大规划稠密参数模型，飞桨分布式练习技能开源代码网站github相同与事务紧密结合，其集结通讯方法经过最新的 4D 混吞并行战教程之家高清视频略，支撑了 2300 亿参数规划的文心 ERNIE 模型的分布式练习。现在飞桨现已初步研讨下一代分布式技能，来一起兼容超大规划稠密参数和稀少参数模型的练习。信赖在实践工业运用这个中心驱动力推动下，飞桨分布式练习必将成为星斗大海上的那颗北极星，为广大开发者们指引航向。
【1】Zhao W, Xie D, Jia R, et al.教程的意思 Distributed hierarchical gpu parameter server for massive scNLPal教程诀窍2e deep learning ads systems[J]. arXiv preprint arXiv:2003.0562教程拼音2, 2020
【2】Shoeybi M, Patwary M, Puri R, et al. Megatron-教程网lm: Training multi-billion parameter language models using model parallelism[J]. arXiv preprint arXiv:1909.08053, 2019.
【3】Huang Y, Cheng Y, Bapna A, et al. Gpipe: ENLPfficient training of giant neural教程英文 networks using pipeline parallelism[J]. arXi大数据技能v preprint arXiv:1811.06965, 2018.
【4】Rajbhandari S, Rasley教程拼音 J, Ruwase O, et al. Zero: Memory op教程的意思timiza教程tions toward training trillion parameter models[C]//SC20: International Conference for High Performance Computing, Networking, Sto开源rage and Analysis. IEEE, 2教程英文020: 1-16.
【5】相关教程：
fleet-x.readthedocs.i架构师认证o/en/latest/p…
如在运用进程中有问题，可加入官方QQ群进行交流：778260830。
假定您想详细了解更多飞桨的相关内容，请参阅以下文档。
飞桨官网地址
www.paddlepaddle.org.cn/
飞桨开源结构项目地址
GitHub:
github.com/PaddlePaddl…
Gitee:
gitee.com/p教程网addlepaddl…
