导语|2022年11月30日，OpenAI 发布了其最新的聊天机器人模型 ChatGPT。腾讯云开发者先后从其玩法体会、技能原理、上手办法和竞品洞悉几个方面进行解读，并邀请腾讯前沿科技研讨中心主任王强畅聊 ChatGPT 最受重视的问题（假如你对相关内容感兴趣，可点击一键跳转阅览）。可是，ChatGPT 成为现象级火爆技能之作的背面，是常年累月的技能堆集和活络迭代。此次咱们邀请腾讯 NLP 工程师张先礼深度解析ChatGPT 进化进程——GPT 各代有何差异、怎么演进？其现有才干有什么不足？未来将会有什么开展方向？欢迎各位开发者阅览、共享与沟通 ChatGPT 神话的缔造之路。
目录
1 布景介绍
2 原了解析——从开展进程了解 ChatGPT
2.1 Transformer
2.2 初代 GPT vs. BERT
2.3 GPT-2
2.4 GPT-3
2.5 InstructGPT
2.6 ChatGPT
3 抢手重视点
3.1 模型究竟是否需求标签监督？
3.2 ChatGPT 对多模态有何启示？
3.3 ChatGPT 为何能对同个问题生成不同的答案？
3.4 ChatGPT 怎么回绝答复常识规划外的问题？
3.5 怎么取得更强的泛化？
3.6 小结
01
布景介绍
2022年11月30日，OpenA I发布其最新的聊天机器人模型—— ChatGPT，由此引发热烈谈论。作为一个现在最挨近“六边形”兵士的聊天机器人，它不只能够用来聊天、搜索、翻译，还能写故事、写代码甚至是 debug。由于其才干过于冷艳， ChatGPT成为历史上最快抵达1亿用户的应用。各位开发者对其背面的技能充满了猎奇。
本文将环绕ChatGPT探讨其原了解析、优缺点、未来开展方向。其间将介绍从Transformer逐渐进化到 ChatGPT 的办法，并从剖析 ChatGPT 的优缺点开端，考虑ChatGPT、AI 的未来开展方向和改善点。
02
原了解析——从开展进程了解 ChatGPT
本章会逐渐介绍Transformer（2.1节）、初代GPT vs. BERT（2.2节）、GPT-2（2.3节）、 GPT-3（2.4节）、 InstructGPT（2.5节）、ChatGPT（2.6节）。假如你对某个演进节点特别感兴趣，能够优先跳转到对应章节阅览了解。
2.1 Transformer
2.1.1 Transfermer 布景
2017 年，Google 的一篇题为 Attention is all you need 的 Paper 横空出世，自此彻底运用 Attention 机制的 Transformer 模型开端主导 NLP 范畴。不久后，运用 Transformer 模型结构的预练习言语模型 GPT 和 BERT 大放异彩。时至今日，根据 GPT 和 BERT 的预练习言语模型进行 Fine-tuning 依然是 NLP 中广泛使命的首选范式。除了 NLP 范畴，Transformer 结构也被应用到了核算机视觉范畴，由此诞生了一系列比CNN更强壮的模型，如 ViT、BEiT 和 MAE。能够说，Transformer 结构继 RNN、CNN（以及其一系列变体 LSTM、GRU、ResNet、DenseNet 等）之后，在 Inductive Bias 方向上打开了一个新世界的大门。
2.1.2 Transfermer 首要特点
图一 Self-Attention 和 Multi-Head Attention
-
榜首，经过 Self-Attention（如图1左所示），每个词都和一切词核算 Attention，因而不管序列中词与词之间的距离有多长，他们之间的最大路径长度都为1，因而能够捕获更长的依靠联络。
-
第二，提出Multi-head Attention（MHA）（如图1右所示）, 经过多个 Head 学习不同的子空间语义，最终经过 Concat 和 Linear 操作降维至单 Head 的 Size，这相当于多个子空间语义表明的 Ensemble。
图二 Transformer 全体结构
-
第三，全体结构遵照 Encoder-Decoder 的形式，其间 Decoder 的每个 Block 比Encoder 多了一个 Masked Multi-Head Attention（MMHA）。MMHA 结构同MHA，只不过 Mask 矩阵中要屏蔽其时方位之前的词与其时方位之后的词的联络，使得文本下文信息不提前泄露，例如生成式使命（如机器翻译）是早年到后逐渐生成的。
2.2 初代GPT vs. BERT
这儿咱们会先讲初代GPT，然后介绍BERT试验，最终在2.2.3将二者的试验练习进行比照。
2.2.1 初代GPT
接下来咱们会分别讲到初代GPT的模型结构、练习办法、Task-specific input transformations、数据集、试验成果概览，然后进行小结。
- 初代GPT模型结构
图三 Transformer Decoder和GPT Decoder比照
GPT (Generative Pre-Training) 是 OpenAI GPT 系列的开山之作。在模型结构方面， GPT 仅运用了 Transformer 的 Decoder 结构，并对 Transformer Decoder 进行了一些改动。如图三所示，原本的 Decoder 包括了 MHA 和 MMHA，而 GPT 只保留了 MMHA，这确保了 GPT 只能重视上文的信息，然后抵达单向模型的意图。
-
初代GPT练习办法——无监督Pre-training + 有监督 Fine-tuning
-
【无监督 Pre-training】
初代GPT的无监督 Pre-training 是根据言语模型进行的，给定一个无监督语料
其间
- 【有监督Fine-tuning】
在运用方针函数（1）进行无监督 Pre-training 得到模型后，将其直接应用到有监督使命中。假设有一个有标示的数据集，其间每个样本的inputs包括一系列的 token，即
因而，Fine-tuning阶段最大化以下方针：
此外，初代 GPT 将言语建模作为微调的辅佐方针以协助 Fine-tuning 阶段（a）进步泛化性，（b）加速模型收敛。详细地，整个 Fine-tuning 阶段的优化方针为：
比较Pre-training阶段，Fine-tuning 引入了额定的参数包括 和 delimiter tokens（分隔符） 的 embeddings。而 delimiter tokens 是针对 Fine-tuning 阶段不同的下流 tasks进行规划的，意图是为了使得 Pre-training 得到的模型能在 Fine-tuning 的时分适配不同的 tasks。
-
Task-specific input transformations（特定于使命的输入转化）
图四 特定于使命的输入转化
某些使命（如文本分类），GPT 能够对其进行直接如上所述的模型微调。而某些其他使命（如问答或文本蕴涵）和具有结构化输入的使命，如有序的句子对或文档、问题和答案的三元组，由于 GPT 的预练习模型是在接连的文本序列上练习的，因而需求一些修正才干将其应用于这些使命。初代 GPT 之前的作业提出了根据 transferred representations 的学习使命特定的结构。这种办法从头引入了许多特定于使命的定制，而且不对这些额定的结构组件运用搬迁学习。相反，GPT 运用遍历式办法（traversal-style approach）将结构化输入转化为 Pre-training 模型能够处理的有序序列。这种输入转化防止了针对不同使命对模型结构进行许多更改。图四展示了特定于使命的输入转化办法，一切的输入转化都包括了随机初始化的起始（Start）和结束（End）token，分别用
Textual Entailment 如图三所示，关于文本蕴含使命，GPT在 Fine-tuning 阶段将前提p（premise ）和假设h （hypothesis）的 token 序列拼接，并在二者中心添加分隔（delimiter） token ,用$表明。
Similarity 关于相似度使命，两个句子之间没有固有的次序。为了反映这一点，GPT将输入的两个句子以两个或许的排列次序拼接两次，相同需求将delimiter token添加在两个句子中心。这样两个句子就能取得两个不同次序的输入转化。然后将两个转化后的输入独登时输入 Pre-trianing 得到的模型，再将得到两个序列表征进行element-wise加法得到最终的表征
Question Answering and Commonsense Reasoning 关于这两个使命，给定context document，question和或许的answer调集
- 初代GPT数据集
无监督Pre-training，BooksCorpus 7000本未发布的书，这些书里包括长段的接连文本，这使得生成模型能够学习以长距离信息为条件的依靠联络。
有监督Fine-tuning
- 初代GPT试验成果概览
Neural Language Inference
Question Answering & Commonsense Reasoning
Semantic Similarity & Classification
GPT Fine-tuning 阶段搬迁层数的影响和 Pre-training 阶段迭代次数对 zero-shot 功用的影响（GPT vs. LSTM）
图五
从图五（左）能够看出，Fine-tuning 阶段运用更多层数的 Pre-training 模型能够显著进步下流使命的功用；而图五（右）阐明（a）GPT在 zero-shot 方面比 LSTM 效果好，而且方差低（方差低没有数据展示，但作者在原文中说到了），（b）跟着 Pre-training 的练习步数的添加，GPT 的 zero-shot 才干稳步进步。
- 初代GPT小结
在有监督学习的12个使命中，初代GPT在9个使命上的表现超过了SOTA的模型。在的 zero-shot 使命中，初代 GPT 的模型要比根据 LSTM 的模型稳定，且跟着练习次数的添加，其 zero-shot 的功用也逐渐进步。这些都表明初代 GPT 现已具有（相对）十分强的泛化才干，能够用到和有监督使命无关的其它 NLP 使命中。初代 GPT 证明了 transformer 对学习词向量的强壮才干，在初代 GPT 得到的词向量基础上进行下流使命的学习，能够让下流使命取得更好的泛化才干。关于下流使命的练习，初代 GPT 往往只需求简略的微调便能取得十分好的效果。
2.2.2 BERT
本末节会讲BERT的模型结构、输入结构、练习办法、数据集和试验成果。
- BERT模型结构
图六 BERT采用了 Transformer 的 Encoder 部分
BERT（Bidirectional Encoder Representations from Transformers ） 的模型结构采用了原始 Transformer 的 Encoder（如图六所示）。由于没有 MMHA，因而在建模时答应每个 token 访问其前后两个方向的 context，因而 BERT 是双向的言语模型。
至于为什么需求挑选支撑双向的Encoder，在这儿引证作者原文的话_：”The major limitation is that standard language models are unidirectional, and this limits the choice of architectures that can be used during pre-training. For example, in OpenAI GPT, the authors use a left-to-right architecture, where every token can only attend to previous tokens in the self-attention layers of the Transformer. Such restrictions are sub-optimal for sentence-level tasks and could be very harmful when applying finetuning-based approaches to token-level tasks such as question answering, where it is crucial to incorporate context from both directions.”_
大约的意思是：规范言语模型是单向的，这约束了在预练习期间能够运用的结构挑选。例如，在 OpenAI GPT 中，作者运用从左到右的架构，其间在 Self-attention 中每个 token 只能访问从前的 token。这种约束关于句子级使命来说是次优的，而且在将根据微调的办法应用于 token-level 使命（如问题答复）时或许十分有害，由于在这些使命中，从两个方向结合上下文是至关重要的。
- BERT输入结构
图七 BERT的输入层
为了使 BERT 能够处理不同的下流使命，关于每一个输入的 Sequence（在BERT的原文中，作者用” Sentence “表明恣意跨度的接连文本，而不是言语意义上的句子；用” Sequence “表明输入 BERT 的 tokens 序列，可所以一个句子也可所以被打包在一起的两个句子），在其最前面拼接一个特别的分类 token
关于被打包成一个 Sequence 的 Sentence pair, 经过两种机制来区分不同句子（a）用特别token
-
BERT练习办法——无监督Pre-training+有监督Fine-tuning
图八 Pre-traning和Fine-tuning进程
如图八所示。与初代 GPT 相同，BERT 也分为无监督 Pre-training 和有监督 Fine-tuning 两个阶段。
- 【无监督 Pre-training 】
与 GPT 和其它预练习言语模型从左到右或是从右到左的规范预练习办法不同，BERT 提出了两个新的预练习使命：
- 【有监督Fine-tuning】：
在Fine-tuning 阶段，将一切使命的输入结构成句子对（A，B）的形式。例如（a）Paraphrasing 中的句子对，（b）Entailment 中的 hypothesis-premise 对，（c）QA中的 question-passage 对和（d）文本分类和序列标示使命中的 text -对。关于输出，在 token- level 的使命里，将一切 token 的对应方位最终一层的 hidden states 输入相应的输出层（例如序列标示和QA）；在 sentence-level 的使命里，将
- BERT数据集
无监督 Pre-training，来自 BooksCorpus 800M的words 和 English Wikipedia 2500M 的 words；有监督 Fine-tuning、GLUE Benchmark、 SQuAD v1.1和SQuAD v2.0共11个NLP 使命。
- BERT试验成果
GLUE
能够看到
Ablation Study——Pre-training Task：
如上表所示。作者首要针对 Pre-training task 进行融化试验，以验证 MASK LM 和 NSP 使命的有效性。其间 LTR（Left to Right）表明相似 GPT 的从左到右的言语建模使命。+BiLSTM 表明在输出层前添加 BiLSTM 网络。从中能够看出 MASK LM 和 NSP 使命的有效性是显著的。
Ablation Study——Model Size：
别的，作者针对模型参数量进行了融化试验。从上表能够看出，模型越大，在下流使命中的表现越好（这其实初步展示了大模型的潜力）。
2.2.3 初代GPT和BERT的比照
2.3 GPT-2
本节会先介绍其原理（2.3.1），接着共享完成（2.3.2）、试验成果（2.3.3），最终得出小结（2.3.4）。
GPT-2的中心思想是：**能够直接用无监督的 Pre-training 模型直接去做有监督使命。**GPT-2在模型结构方面和GPT-1彻底共同，Pre-training的使命也没有改动，**那终究是什么给 GPT-2 带来如此大的自信，能够让它在无监督 Pre-training 后直接用来做有监督使命呢？**接下来，我将依照作者原文的思路，进行剖析。
2.3.1 GPT-2 原理
- Language Modeling 的实践行为
传统Language Modeling（LM）也是GPT-2的中心思想（大道至简）。LM一般被结构为对来自一组样本
这种建模办法的缺点是：
（a）参数空间过大，但 Transformer 结构给大模型带来了光亮；
（b）数据稀少，但算力的进步以及资本的力气答应咱们在超大规划语料上练习。
LM 其实也是在给序列的条件概率
- NLP中对一切使命建模办法的通用表达
NLP 中对一切单个使命的建模都能够表达为
例如，一个翻译使命的样本能够被表达成 (translation to french, english text, french text) 的形式；一个阅览了解的样本能够被表达为 (answer the question , english text, french text)。由此可见，以这种数据格式能够有监督地练习 single model，其不需求特定使命的编码器或许解码器，就能履行多使命，
- LM在抵达必定条件时实践上能够看作有监督多使命学习
比较于有监督的多使命学习，LM 仅仅不需求显现地对哪些符号是输出进行监督。例如关于恣意序列
- GPT-2 谈论
所以GPT-2是怎么完成只进行无监督 Pre-training 就直接抵达有监督多使命的效果呢？首要，子标题（1）中传统LM的两个缺点（a）参数空间过大和（b）数据稀少跟着模型结构、算力进步以及资本的力气能够得到处理。换言之，LM的才干进步来自于大模型和在超大规划语料上预练习。
其次子标题（2）中的剖析阐明，LM 能够以其灵敏的办法建模单模型多使命学习。
最终子标题（3）阐明，有监督多使命学习是 LM 的子集。实践上有监督使命的监督信号是会出现在无监督使命的语猜中的，只要语料满意大，那么就能 cover 到多个使命。综上能够得出定论，只要模型参数量满意大，预练习语料满意丰厚，那么无监督 Pre-training 得到的 LM 就能直接拿来履行多使命。
2.3.2 GPT-2 完成
- GPT-2 模型结构
GPT-2的模型结构比较GPT-1没有差别，仅仅是添加了参数规划。作者在试验中采用了四种规划参数的模型：
上表中榜首个模型的参数规划与初代GPT相同，第二个模型的参数规划与BERT（Large）相同。而最终一行的模型是发布的GPT-2。
- GPT-2 练习语料
作者从网站上爬取了高质量的文本数据，形成的数据集被称为WebText。其间去掉了一切包括在Wikipedia中的文档。最终的数据集包括超过800万个文档，总共40 GB的文本。
2.3.3 GPT-2试验成果
- LM成果
在8个言语模型使命中，仅仅经过zero-shot学习，GPT-2就有7个超过了state-of-the-art的办法；
- NER
在Children’s Book Test数据集上的命名实体辨认使命中，GPT-2超过了SOTA的办法约7%。参数规划越大效果越好。LAMBADA数据集是测验模型捕捉长时间依靠的才干的数据集，GPT-2将困惑度从99.8降到了8.6。在阅览了解数据中，GPT-2超过了4个baseline模型中的三个。在法译英使命中，GPT-2在zero-shot学习的基础上，超过了大多数的无监督办法，可是比有监督的state-of-the-art模型要差。GPT-2在文本摘要上的表现不抱负，可是它的效果也和有监督的模型十分挨近。
2.3.4GPT-2 小结
GPT-2 验证了经过扩展参数规划和Pre-training语料的规划就能够搬迁到多个使命且不需求额定的Fine-tuning。尽管其在有些使命上表现得不够好，但其现已初步展示了大模型大语料Zero-shot的潜力，未后续大模型的开展供给了有根据的方向。
2.4 GPT-3
本节会先介绍其原理（2.4.1），接着共享完成（2.4.2）、试验成果（2.4.3），最终得出小结（2.4.4）。
GPT-3的中心卖点是：仅仅需求zero-shot或许few-shot就能在下流不同使命上表现得很好，而且在许多十分困难的使命上也有冷艳的表现。
2.4.1 GPT-3 原理
到GPT-3之前，LM 现已取得了巨大的成功，例如初代 GPT、BERT 的 Pre-training + Fine-tuning, 以及 GPT-2 所展示的 Zero-shot 才干。可是，当模型结构是 task-agnostic 的时分，前述 LMs 依然需求特定使命的数据集和特定使命的 Fine-tuning（即使强壮如GPT-2在某些使命上也需求Fine-tuning ）。这是在 GPT-3 之前 LMs 最大的缺点（尽管现已很强了，可是方针要大一点）。处理这一缺点的必要性如下：
从实用角度来看，关于每一项新使命都需求一个有标示的大数据集，这约束了言语模型的适用性（尽管在咱们看来，标示数据是不可防止的，但GPT-3团队的方针很大）。更糟糕的是，关于许多应用远景很广泛的使命，例如语法纠错、生成抽象概念的示例、谈论story，很难搜集一个大型的监督练习数据集，特别是当每个使命都要重复这样的进程。
在有标示数据上 Fine-tuning 得到的大模型其在 Out-of-distribution（OOD）数据上泛化性不必定更好, 由于模型过度偏向fine-tuning数据散布（回想下初代 GPT 为什么要在 Fine-tuning 阶段参加 Pre-training LM的丢失）。因而，Fine-tuning 模型在特定 Benchmark上的功用，即使名义上是人类水平，也或许是被夸张了实践功用。
关于人类这个智能体而言，其不需求许多的有监督的数据集去学习绝大多数 NLP 使命。简略的几个示例足以使人类以合理的才干履行新使命。假如 LM 能抵达相似的才干，那么将会极大地添加其通用性。
作者以为，处理该缺点的首要思路是：
借用 meta-learning（元学习）的思想。这在 LM 布景下的意义是：在 Pre-training 期间让模型学习广泛的技能和模式辨认才干，而在推理期间运用这些技能和才干敏捷适配到期望的使命上。如下图所示：
以 MAML 算法为例，meta-learning 的意图是找到模型
另一个方向是扩展模型参数量的规划，从初代 GPT 到 BERT，再到 GPT-2 ，这一趋势证明跟着模型参数量的扩展，模型的才干也随之进步。由于 In-context learning 涉及从大规划语猜中将许多技能和使命吸收到模型参数中，因而 In-context learning 的才干或许会跟着规划的扩展而表现出相似的强劲添加。笔者以为：
（a）小规划语料是有偏的，且其间包括的使命和每个使命的样本量少，不足以学到满意的“技能”和“使命”，即在预练习中无法得到满意多的常识泛化到实践场景中的使命；
（b）因而需求扩展语料的规划，而扩展语猜中的规划需求有满意多的参数来记住言语建模中学到的“技能”和“使命”，假如参数量不够，那么跟着 Pre-training 的进行，模型又要测验记住一切“技能”和“使命”，但又无法彻底记住，因而或许会对找到 meta-initialization 带来困难；
（c）别的，能够回到第 2.3.1 GPT-2 原理那节从处理 LM 缺点的角度考虑。
上述榜首点从 Meta-learning 的角度揭示了 LM 的背面的机理，以及背面 In-context learning 的概念，并以GPT-2所展示的才干来证明 In-context learning 的有效性；第二点阐明近些年来进步参数规划所带来的进步是大势所趋。因而，GPT-3所带来的改善有两点：继续扩展参数规划；继续扩展语料的规划；想到那句话：重剑无锋，大巧不工。
2.4.2 GPT-3 完成
-
GPT-3Pre-training 语料
GPT-3共练习了5个不同的语料，分别是低质量的 Common Crawl，高质量的WebText2，Books1，Books2 和 Wikipedia，GPT-3 根据数据集的不同的质量赋予了不同的权值，权值越高的在练习的时分越容易抽样到。整个语料的规划为 45TB，数据集核算如下表所示:
- GPT-3 模型结构和参数量
GPT-3 的模型结构和初代 GPT 和 GPT-2 相同，但参数量直接进步至 175 Billion（初代目：1.17亿；二代目15.42亿；三代目：1750亿）。
- GPT-3 练习办法
LM Pre-training
- GPT-3 模型推理（Zero-shot，One-shot，Few-shot）
如上图所示，与传统的 Pre-training + Fine-tuning 不同（图右），GPT-3（图左）Pre-training 之后直接进行推理，且支撑三种推理办法，即 Zero-shot，One-shot 和Few-shot。三种推理办法详细如下：Zero-shot只输入使命描绘和提示词（Prompt）；One-shot输入使命描绘，1 个示例和 Prompt；Few-shot 输入使命描绘，K
2.4.3 GPT-3 试验成果
- 参数规划和有无prompt的融化试验
作者在一个简略的使命上（去掉单词中被随机添加的符号，例 s.u!c/c!e.s s i/o/n = succession）比照了不同参数规划的模型和在推理时是否有Prompt的成果。能够得出的定论有三个：
（a）扩展参数规划有助于进步模型运用 In-context Information 的才干；
（b）Prompt有助于进步模型学习使命的才干;
（c）Few-shot > One-shot > Zero-shot。
- Cloze and completion tasks
- Open domain QA
- Translation
在 GPT-3 的年代，其表现也能够用冷艳来形容。它在大多数 LM 数据会集，超过了绝大多数的 Zero-shot 或许 Few-shot 的 SOTA 办法。此外，在许多复杂的 NLP 使命中也超过了 Fine-tuning 后的 SOTA 办法，例如闭卷问答、模式解析、机器翻译等。最终，它在一些其他的使命上也取得十分震惊的效果，如进行数学加法、文章生成、编写代码等。
可是 GPT-3 也存在一系列的问题，比方关于一些出题没有意义的问题，GPT-3 不会判别出题有效与否，而是推理一个没有意义的答案出来。由于 45TB 海量数据中没有针对种族歧视、性别歧视、宗教成见等内容进行扫除，因而 GPT-3 生成的文章会包括这类灵敏内容。
2.4.4 从初代GPT到GPT-3比照一览
2.5 InstructGPT
在本节2.5.1咱们会把 Instruct Learning 、Prompt Learning 进行比照，接着讲 RLHF （2.5.2）、PPO 算法（2.5.3），在2.5.4共享 InstructGPT 的完成，最终进行小结，讲其优缺点。
2.5.1 Instruct Learning vs. Prompt Learning、RLHF
InstructGPT 是为处理 LM 有时不能遵从用户意图而诞生的。“不能遵从用户意图”表明LM 或许会生成不实在、有毒或对用户毫无协助的输出。首要原因是 LM 的练习方针是猜想下一个 token 而不是有协助地和安全地遵从用户的指令。换句话说，这些模型与其用户没有对齐。这是由于模型的成见性和数据中存在的一些有毒内容导致模型会输出无用的、有毒的输出（LM并没有对输出是否无用、是否有毒的监督）。因而，InstructGPT 要做的便是是模型的输出契合人类的意图。这种改善是十分有必要的，尤其是当 LM 被布置在多个应用场景中时。详细而言，InstructGPT 的优化方针有三个（3H）：
-
Helpful，模型应该协助用户处理他们的使命；
-
Honest，模型不应该假造信息来误导用户；
-
Harmless，模型不应对人或环境形成身体、心思或社会损伤。
为了处理上述问题，Fine-tuning 进程又回到了 InstructGPT，但与传统的 Fine-tuning 不同。在详细介绍 InstructGPT 之前，本章将先介绍几个 Preliminary knowledge，分别是 Instruct Learning 和 Prompt Learning，Deep Reinforcement Learning from Human Preferences (RLHF) 和 PPO 算法。
Instruct Learning 是由 Google 提出。（接下来引自外部解读）Instruct Learning 和 Prompt Learning 的意图都是去深入挖掘现已具有的常识（回忆GPT-2和GPT-3在大规划语猜中学到的“技能”和“使命”），并激宣布更强的才干。不同的是，Prompt 是激起LM 的补全才干，例如根据上半句生成下半句，或许是 Cloze；而 Instruct Learning 是激起言语模型的了解力，经过给出显着的指令，让模型去做出正确的行动。经过如下比方来了解两种学习办法：
-
榜首，Prompt Learning：给女朋友买了这个项圈，她很喜爱，这个项圈太__了。
-
第二，Instruct Learning：判别这句话的情感：给女朋友买了这个项圈，她很喜爱。选项：A=好；B=一般；C=差。
Instruct Learning 原文对传统Fine-tuning、Prompt Learning和Instruction tuning的比照：
-
传统Fine-tuning：需求许多使命特定的样本；每个使命都需求 Fine-tuning 一个特别的模型；
-
Prompt：经过少数示例或 prompt 工程进步功用；
-
Instruction tuning：经过天然言语指令学习履行多个使命。
Instruct-tuning 的一些模版，如下图：
Instruct-tuning 的 Zero-shot 效果如下图所示：
从试验效果来看，1370亿参数的 FLAN（Pre-training + instruction tuning）比 1750亿参数的 GPT-3 在各个使命上效果要好，甚至在某些使命上（Translation）比全监督的算法要好，表现了 Instruction tuning 在激起/激活 LM 潜力方面和泛化才干的优越表现。
个人以为，Instruction learning 能够进一步将使命编码到模型参数中，在 inference 的时分，模型能够根据Instruction 中的使命描绘，输出与使命相关的成果。其实 LM 自身是生成式模型， Prompt Learning 其实是经过使模型在生成答案的时分 condition on Prompt 来区分使命，本质上仍是强化了模型的补全才干，而 Instruction learning使模型condition on 对使命更丰厚的描绘，然后加强对使命的了解。
2.5.2 RLHF
如介绍 GPT-3 时说到的，45TB 的语猜中不能确保没出现灵敏的句子，如种族歧视、谩骂等。而 LM 实践上是对练习数据集散布的拟合。这实践上直接影响了 LM 在内容生成上的质量。此外，咱们不期望模型只受到数据的影响，咱们期望输出成果是可控的，要确保生成的内容是有用的，实在的，和无害的。所以，咱们应该有一个机制，来鼓励模型输出和人类偏好共同的成果，比方防止输出带有种族歧视、谩骂的句子；再比方生成的内容要有具有流畅性和语法正确性；生产的内容还需求是有用的、实在的。
因而， RLHF 便是经过用人类的偏好（人工标示输出的质量分数）练习一个奖赏模型（Reward model）, 来辅导 LM 的练习。RLHF 的流程如下图所示。
上图中的一些概念：
Initial Language Model：Pre-trianing 或许 Instruct tuning 后的模型；
Tuned Language Model：Initial Lanugage Model 的副本，将在 RLHF 中更新参数，也是RL中的Policy；
Policy：是给Tuned LM（例如GPT-3）输入文本后输出成果的进程；
Action Space：全词表，大约 50K；
Observation Space：输入的文本序列空间；
Reward Function：一个打分模型 Reward Model，和一个 KL 的梯度赏罚项
RLHF 首要人工搜集LM的输出答案，并对输入输出对进行打分标示来练习 Reward Model ; 然后，在RLHF期间，将 Prompts Dataset 中的每一个样本分别输入到 Initial LM 和 Policy 中，得到两个输出
2.5.3 PPO算法
RL实践上便是 Agent 在一个状况 s 下挑选下一个动作a，取得奖惩r，而咱们的优化方针是期望挑选动作的 Policy 使得总体收益期望最大。关于一组模型参数 能够得到一组轨迹序列的概率散布
最大化上述方针则采用梯度上升：
求解上述梯度
在 InstructGPT 中，上式中的
2.5.4 InstructGPT的完成
在了解了 Instruct learning、RLHF 和 PPO 后，咱们就不难了解 InstructGPT 的完成进程（下图）。
如上图所示，InstructGPT 的练习分红3步，每一步的数据也有差异，下面咱们分别介绍它们。
SFT数据集是用来练习第1步有监督的模型。在这一步中将运用搜集的新数据，依照GPT-3 的练习办法对 GPT-3 进行微调。由于 GPT-3 是一个根据提示学习的生成模型，因而 SFT 数据集也是由提示-答复对组成的样本。SFT数据一部分来自运用 OpenAI 的的用户，另一部分来自 OpenAI 雇佣的40名标示人员。一切的标示人员都经过了细心的练习。标示人员在结构这个数据会集的作业是根据内容自己编写指令。
RM数据集用来练习第2步的奖赏模型，咱们也需求为 InstructGPT 练习设置一个奖赏方针。这个奖赏方针不必可导，可是必定要尽或许全面且实在的对齐咱们需求模型生成的内容。很天然的，咱们能够经过人工标示的办法来供给这个奖赏，经过人工给那些涉及成见的生成内容更低的分然后鼓励模型不去生成这些人类不喜爱的内容。InstructGPT先让模型生成一批候选文本，让后经过标示人员根据生成数据的质量对这些生成内容进行排序。
练习进程如下：
-
进程一，首要运用标示人员标示的SFT数据集对 Initial LM 进行有监督的 Fine-tuning，而且作者说到让模型适当过拟合有助于后面两步的练习；
-
进程二，练习奖赏模型。关于每一个 Prompt，用SFT后的模型生成多个输出（一个Prompt为什么会得到多个输出，或许是用了Beam Search），如图中的A，B，C，D四个答案，然后标示人员将四个答案进行排序。再运用两两之间的排序联络练习 Reward Model 进行分数回归。练习 Reward Model 的方针函数：
-
进程三，运用Reward Model用PPO算法来优化Policy（SFT后的模型）；
-
进程四，继续重复进程二和进程三；RLFH 的优化进程中由于练习脚步不能放得太大，即在 update rule 里参加了 KL 赏罚，因而仅仅一轮进程二+进程三或许无法抵达咱们的预期，由于 SFT 后的模型输出或许契合预期的输出也不多，而经过多轮 RLHF 优化能够逐渐进步输出质量。
2.5.5 小结
- 长处
与 GPT-3 的输出比较，标示人员显着更喜爱 InstructGPT 输出。13亿参数的InstructGPT 的输出显着优于1750亿参数的GPT-3。1750亿参数的InstructGPT 的输出在 853% 的时间内优于 1750亿参数的GPT-3 输出，在 714% 的时间内优于 few-shot 1750亿参数的GPT-3。InstructGPT 模型能更牢靠地遵从指令中的清晰约束。
InstructGPT 模型在实在性方面比 GPT-3 有所改善。在 TruthfulQA 基准测验中，InstructGPT 生成实在且信息丰厚的答案的频率大约是 GPT-3 的两倍。
InstructGPT 与 GPT-3 比较毒性略有改善。InstructGPT 模型显现了 RLHF 微调对散布之外的指令的有远景的泛化。作者定性地探究了 InstructGPT 的功用，发现它能够遵从指令来总结代码，答复有关代码的问题，有时还会遵从不同言语的指令，尽管这些指令在微调散布中十分稀有。比较之下，GPT-3 能够履行这些使命，但需求更细心的prompt，而且一般不会遵从这些范畴的阐明。这个成果表明，InstructGPT 能够泛化到“遵从指令”的概念。即使在取得很少直接监督信号的使命上，也会保持必定的对齐。
- 缺点
InstructGPT会降低模型在通用 NLP 使命上的效果，作者在PPO的练习的时分谈论了这点，尽管修正丢失函数能够平缓，但这个问题并没有得到彻底处理。
有时分InstructGPT 还会给出一些荒唐的输出：尽管 InstructGPT 运用了人类反馈，但限于人力资源有限。影响模型效果最大的仍是有监督的言语模型使命，人类仅仅起到了纠正效果。所以很有或许受限于纠正数据的有限，或是有监督使命的误导（只考虑模型的输出，没考虑人类想要什么），导致它生成内容的不实在。就像一个学生，尽管有老师对他辅导，但也不能确认学生能够学会一切常识点。
尽管取得了重大发展，但 InstructGPT 模型远未彻底对齐或彻底安全；它依然会在没有清晰提示的状况下生成有毒或有成见的输出、假造现实以及生成色情和暴力内容。但机器学习体系的安全性不只取决于底层模型的行为，还取决于这些模型的布置办法。为了支撑 API 的安全，OpenAI 供给内容过滤器以检测不安全的答复，并监控乱用状况。
2.6 ChatGPT
在2.6.1，咱们会先介绍ChatGPT的完成，然后在2.6.2节弥补共享GPT系列的其它成员。之后在章节2.6.3 ，咱们对前面的一切共享进行初步回忆——从初代 GPT 到 ChatGPT 的进化。最终，在章节2.6.4聊聊开发者们感兴趣的ChatGPT 缺点。
2.6.1 ChatGPT的完成
总算能够聊ChatGPT 了。ChatGPT 底子遵从了与 InstructGPT 相同的练习办法，有差异的地方只要两点：
-
（a）ChatGPT 以 GPT3.5 作为 Initial LM；
-
（b）数据搜集办法略有不同。现在 ChatGPT 论文还没有揭露，OpenAI 只发布了一个简略的 Blog。
在此，我将 Blog 中的原文翻译后引证在此：
“咱们运用来自人类反馈的强化学习（RLHF）来练习这个模型，运用与InstructionGPT 相同的办法，但数据搜集设置略有不同。咱们运用有监督的微调练习了一个初始模型：人工智能练习师供给对话，他们扮演用户和人工智能助手的双方角色。咱们让练习师取得模型书面主张，以协助他们编撰回复。咱们将这个新的对话数据集与 InstructGPT 数据集混合，并将其转化为对话格式。
为了创建强化学习的奖赏模型，咱们需求搜集比较数据，其间包括两个或多个按质量排序的模型呼应。为了搜集这些数据，咱们进行了 AI 练习师与聊天机器人的对话。咱们随机挑选了一个模型编撰的音讯，抽样了几个备选的答案，并让 AI 练习师对其进行排名。运用这些奖赏模型，咱们能够运用近端战略优化对模型进行微调。咱们对这个进程进行了屡次迭代。ChatGPT从 GPT-3.5 系列中的一个模型进行了微调，该系列于 2022 年头完成了练习。ChatGPT 和 GPT 3.5 在 Azure AI 超级核算基础设施上进行了练习。”
2.6.2 弥补GPT系列的其它成员
网上某 Blog 中总结了从 GPT-3 衍生的 GPT 宗族的其它成员，文中还全面客观地总结和剖析了 ChatGPT 的各项才干来历。如下图所示，作为 ChatGPT Initial LM 的 GPT-3.5是在原始 GPT-3 的基础上，添加 code 语料和经过 instruct tuning 后得到的。
该 Blog 中还整理了 GPT-3 到 ChatGPT 以及这之间的迭代版别的才干和练习办法，如下图：
2.6.3 从初代 GPT 到 ChatGPT 的进化概览
2.6.4 ChatGPT 的缺点
来自 ChatGPT 官方给出的缺点：
-
榜首，ChatGPT 有时会写出看似合理但不正确或荒唐的答案。处理这一问题具有挑战性，由于：在 RL 练习期间，现在没有任何本相来历；练习模型愈加谨慎会导致它回绝正确答复的问题；监督练习误导了模型，由于抱负的答案取决于模型知道什么，而不是人类演示者知道什么。
-
第二，ChatGPT 对输入短语的调整或屡次测验同一提示很灵敏。例如，给定一个问题的一个短语，模型能够宣称不知道答案，但略微从头遣词，能够正确答复。
-
第三，该模型一般过于冗长，过度运用某些短语，例如重申它是 OpenAI 练习的言语模型。这些问题源于练习数据中的偏差（练习师更喜爱看起来更全面的较长答案）和众所周知的优化问题。
-
第四，抱负状况下，当用户供给不清晰的查询时，模型会提出清晰的问题。相反，咱们其时的模型一般猜想用户的意图。
-
第五，尽管咱们努力让模型回绝不适当的恳求，但它有时会呼应有害的指令或表现出有成见的行为。咱们正在运用 ModerationAPI 来警告或阻挠某些类型的不安全内容，但咱们估计现在它会有一些误报和误报。咱们渴望搜集用户反馈，以协助咱们正在进行的改善体系的作业。
网友给出的缺点比方底子被包括在官方给出的5个方面的缺点中。上面1所说的缺点便是网友们吐槽的“不苟言笑说瞎话”。比方用户给 ChatGPT 一个 Prompt：“宫殿玉液酒”，ChatGPT 会给出如下答复：“宫殿玉液酒是一种传统的我国白酒。它一般是由大米、小麦…”。可是我国底子没有宫殿玉液酒这种酒。再比方问 ChatGPT：“秦始皇摸电线会怎么样”，ChatGPT 给出的答复里竟然包括这样一句话：“电线是由英国科学家艾伦图灵在1870年代发明的”。这显着阐明 ChatGPT 不是一个彻底牢靠的常识库。
第二点说到练习模型愈加谨慎会导致它回绝正确答复的问题，身边搭档确实遇到过这类事例。比方让 ChatGPT 引荐书本，有时会回绝答复但有时会答复。这或许也和第2条缺点相关。
第三点的意义或许是 RLHF 和 Instruct Learning 约束了模型或许的输出规划，而使模型小心肠输出与人类尽或许对齐的答案。而与人类对齐的才干来自于人类制造的数据集和人类标示练习的 Reward Model，其实这种办法自身便是有偏的。而且模型或许会因而不敢答复从海量语猜中学到的常识。缺点3现象很普遍，作者的解释也很清晰；缺点4的原因应该是 ChatGPT 没有认知才干，这一点将在3.1.4中谈论。
缺点五，个人以为尽管 GPT 系列经过大模型、大语料上的 LM 在不断进步下流使命的泛化性，但现在依然无法确保 RLHF 中 Reward 模型的泛化性。
03
抢手重视点
这一节中，咱们依次提出 5 个开发者感兴趣的问题，并测验进行答复。模型究竟是否需求标签监督？ChatGPT 对多模有何启示？ChatGPT 关于同一个问题为什么能够生成不同的答案？ChatGPT 是怎么回绝答复常识规划外的问题？怎么取得更强的泛化？假如你对哪个问题感兴趣，可直接跳转到对应末节进行阅览。
3.1 模型究竟是否需求标签监督？
从初代 GPT 的 Pre-training + Fine-tuning，到GPT-2初步展示的 Zero-shot 才干，再到 GPT-3 的 In-context learning（实践上GPT-2也有In-context learning, 而GPT-3采用了更大的模型和更大的语料，并强调了这一概念）所带来的更强壮的 Zero-shot 和Few-shot 才干，这些趋势似乎在告诉咱们标签练习不是有必要的。但需求注意的是，GPT-3 在练习的时分并不是彻底没有使命相关的监督信号，只不过监督信号天然地存在于大规划语猜中，而且以传统LM的建模办法学到了隐藏在大规划语猜中的多种不同使命的和
此外，在 InstructGPT 和 ChatGPT 中为了使模型与人类对齐，OpenAI 依然经过人工标示偏好来练习 Reward model，再结合 RL 对模型进行练习。原因是大规划语猜中没有与人类对齐的监督信号。总而言之，或许在某些使命上，咱们不需求“人工标示”，但并不是说模型不需求使命相关的“监督信号”，而假如咱们对模型有愈加 High-level 的要求，比方与人类对齐，假如数据中没有此类信号，那么“人工标示”是有必要的。再回想下 GPT-3.5 为什么要在语猜中参加 Code 语料，这是由于练习 GPT-3 的 45TB 中没有满意的与代码相关的数据。回忆 GPT 的开展史咱们能够看到，在 LM 建模才干和算力对模型规划扩展的支撑下，人们逐渐从对数据集的标示转向了对数据集散布的规划上。
3.2 对多模态的启示？
GPT 的逐渐进化不断解放了对不同使命的数据标示、模型结构的规划，这两点实践上是让模型逐渐变得通用。但通用的模型不只仅应该是 task-agnostic，还应该是 modal-agnostic。那怎么构建一个能够答应多模态数据输入的通用模型呢？个人以为，这儿需求重点重视的问题有两个：
（a）通用的模型结构规划，在这儿 Transformer 依然是能够满意的，比方处理图画数据的 ViT 依然是根据 Transformer 结构的。
（b）多模态数据集的构建，即怎么构建一个数据集，能够在 LM 范式下学到图画与文本或许是其它模态之间的依靠联络。比方图片文本对，Web 上的图文，还能够参加一些其它更有意义的数据比方视觉问答。
3.3 ChatGPT关于同一个问题为什么能够生成不同的答案？
咨询了下资深 NLPer，应该是 Beam Search。
3.4 ChatGPT是怎么回绝答复常识规划外的问题？
现在看来，这个问题在 ChatGPT 中处理得并不是很完美。这涉及了官方发布的缺点中的第 1.（1），1.（2）和 4。大多数人被 ChatGPT 已有的才干所招引，但关于一个牢靠的 AI 来说，回绝答复常识规划外的问题在实践应用中是十分必要的。举个比方， 2016年5月，榜首例由辅佐驾驭体系形成的死亡，原因是感知体系混淆了前方白色的车和亮堂的天空，如下图：
回绝答复常识规划外的问题，能够以为是模型怎么表达自己的认知（Express uncertainty），或许是模型怎么辨认散布外的样本（Out-of-distribution detection，OOD detection）。例如，在上述比方中，假如自动驾驭体系能够表达该场景下其对前方物体的判别是不确认的，或许提示驾驭者前方出现的场景是 Out-of-distribution 的，那么在这种境况下就能够挑选暂时停下然后提示驾驭者人为判别手动驾驭。假如 ChatGPT 具有这种才干，那么就不会出现不苟言笑说瞎话的状况，根据笔者现在对 ChatGPT 的体会，ChatGPT 在这方面的才干或许有3种状况：
-
(a) 不具有表达自己认知的才干；
-
(b)或许有或许只对言语生成有认知上的表达，但对生成内容的实在性没有认知上的表达；
-
(c) 有或许有必定的 OOD detection 才干。接下来呈上笔者的探究进程。
在体会搭档调用 ChatGPT 制造的群 Bot 的时分，咱们开端重视这个问题。起先，一位搭档对 ChatGPT 提问：
然后ChatGPT的答复是：
此时，笔者问ChatGPT：
ChatGPT答复说：
看到上述答复，笔者顿感被ChatGPT搪塞了，其时的猜想是，或许它用了Uncertainty learning，所以接着提问：
而ChatGPT给出了必定的答复：
然后笔者打算再问一些技能细节，而且这次改为用英语提问：
ChatGPT给出的答案是：
上述答复以笔者对Uncertainty learning的了解觉得十分合乎逻辑，所以接着提问：
ChatGPT答复如下：
这个答复跟笔者预想的相同，答复内容上的逻辑也合理。但过了几天，笔者突然在Blog中看到ChatGPT有不苟言笑说瞎话的毛病，所以让另一个搭档用他的账号去问ChatGPT几乎相同的问题：
这几回的答复与之前的答复彻底相悖，而且再次问它，它又给出了之前的答案：
结合这几回的提问，作者对其是否有表达不确认性的才干变得不确认了，但确认的是，它确实偶然会不苟言笑说瞎话。这其实与从 InstructGPT 开端的与人类对齐的方针相悖了，由于 ChatGPT 不契合 Honest 的方针。但笔者没有悲观，马上去阅读了一遍一切大佬的 Blog，看他们是否对 ChatGPT 这一方面的才干有所解读，最终只要一篇 Blog 说到了这一点，博主说：“模型知道它不知道什么不是经过编写规则来完成的， 而是经过 RLHF 解锁的。这是一个十分令人惊讶的发现，由于 RLHF 的开始方针是让模型生成契合人类期望的答复，这更多是让模型生成安全的句子，而不是让模型知道它不知道的内容”。但总觉得这样的推测没有什么根据，所以笔者找了几篇用RLHF练习的大模型的 Paper，期望从中找到答案。最终，在 Anthropic 的一篇题为_Training a Helpful and Harmless Assistant with RL from HF_的 Paper 里找到了或许的答案。先看下 Anthropic 公司的介绍：
“Anthropic 是一家人工智能安全和研讨公司，致力于构建牢靠、可解释和可操控的人工智能体系。今天的大型通用体系能够带来巨大的优点，但也或许是不可猜想、不牢靠和不透明的：咱们的方针是在这些问题上取得发展。现在，咱们首要专心于这些方针的研讨；在未来的道路上，咱们预见到咱们的作业有许多机会为商业和公共利益发明价值。”
那Anthropic是怎么处理这个问题的呢？答案是OOD detection：
详细来说，作者将搜集的 helpfulness dataset 中的每一个样本，也便是 in-distribution 中的样本输入到练习好的模型中，取其间第层的输出向量，用
现在猜想：
-
（1）ChatGPT用了Uncertainty Learning的技能或许性低，由于 Uncertainty Learning 的技能底子上能够看作是 Bayesian Neural Network，其在推理时涉及模型参数上的采样，这对大模型来说是不现实的，即使是 Mc Dropout ，也需求推理屡次得到猜想散布。
-
（2）但假如 ChatGPT 用了 Uncertainty Learning 技能也或许出现不苟言笑说瞎话的状况，原因是模型预练习期间的方针是言语建模，它即使能表达对言语建模的认知（即其时序列的下一个序列或token是什么）也无法处理对该问题是否能做出实在的答复的认知。
-
（3）或许是在 Reward Model里用了 Uncertainty Learning，而 ChatGPT 在Inference的时分能够运用 Reward Model 的认知来判别是否是 RLHF 期间 In-distribution 的样本。
-
（4）用了相似于 Anthropic 的 Paper 中的 OOD detection技能的或许性较大，由于ChatGPT搜集了比之前更多的指令。
-
（5）不管是用 Uncertainty Learning 仍是 OOD detection 实践上是 ChatGPT 自身的效果，其实还能够用 Reward Model 给 ChatGPT 的答案做过滤，即分数低于某个阈值则给出一些搪塞的答复。
-
（6）最终一种或许的状况如其他自媒体所说，RLHF 直接给予了模型这种才干。比方标示者标示偏好时，给模型对灵敏问题答复时做出“回绝答复的回复”更高的偏好，而 RLHF 期间模型学到了这一点。
但也带来两个问题：
-
（a）模型更谨慎而没法答复一些不灵敏的问题，即 RLHF 或许有一些副效果不只约束了模型对一些灵敏问题的答复，还约束了对非灵敏问题的答复（但回复的时分参加一些“我不了解”，“我无法答复”来给用户一种它对自身才干有认知的幻觉）；
-
（b）某些状况仍是会答复灵敏的问题，这其实取决于 RLHF 练习时数据的丰厚度。
3.5 怎么取得更强的泛化——常识组合，体系性泛化
从 GPT-3 开端，模型似乎现已有了组合泛化的才干，经过指令来使模型了解使命然后自动组合预练习期间学到的常识得到咱们期望的答复。GPT-3 的这种才干来自于大规划参数支撑下在大语猜中进行 LM 练习，并在 Instruct Learning 下激活。这底子上是从数据规划和模型参数规划以及学习范式角度来取得才干。那么是否有其它角度能够进一步进步模型的常识组合和体系性泛化的才干呢？这个答案或许是能直接支撑核算单元重用的 Inductive Bias，比方CNN在处理图画时在横向重用核算单元（卷积核），RNN 则在笔直方向重用核算单元（笔直方向）。
近两年，Modular Inductive Bias 逐渐得到我们重视，个人以为，Modular Inductive Bias 是传统有符号 AI 和现在 Learning based AI 的一个结合，而且有期望将多模态、多使命整合在一个更通用的模型中。
3.6写在最终
本文部分内容参考自 OpenAI 发布的官方论文或是 Blog，还有一小部分整理自知乎和公众号上相关范畴的解读。笔者结合过往在 ML 方面的经历，参加了一些个人解读，不代表腾讯官方态度。以上是本次共享全部内容，欢迎各位在谈论区沟通。
-End-
原创作者｜张先礼
技能责编｜张先礼
你或许感兴趣的腾讯工程师著作
|腾讯工程师聊ChatGPT技能「文集」
|10w单元格滚动卡顿怎么处理？腾讯文档的7个秘笈
| 微信全文搜索耗时降94%？咱们用了这种计划
|国民应用QQ怎么完成高可用的订阅推送体系
技能盲盒：前端｜后端｜AI与算法｜运维｜工程师文化
阅览原文
