大模型的才能最另人惊奇的，一个是强壮的才能，另一个便是时不时不苟言笑地胡言乱语。假如你用的是小一点的模型，或许还见过输出循环内容之类的情况。咱们将这种生成不良内容的现象称为错觉-hallucination。
那么，跟着模型不断变大，才能不断变强，错觉是否会好转呢？从咱们前面讲过的Instruct GPT等论文的定论来看，并没有。
需求强调的一点是，所有的生成使命都有或许发生错觉。并不是仅限于问答类或者对话类，比方翻译使命也有或许发生错觉。这是由于，错觉的发生是由模型的才能决议的，而不是使命的类型。
咱们来把错觉问题拆解一下，大家就能更清楚地得到答案了。咱们先看来一篇香港科技大学的总述《Survey of Hallucination in Natural Language Generation》。
什么是错觉？
从发生的原因上来讲，错觉的引入主要有数据原因和模型练习和推理的原因。
数据方面，咱们前面讲了缩放定律，大模型需求大数据，假如数据不够，那么投入更多的核算资源并不会取得更好的作用。可是，当数据越来越多时，手动去查看数据的重复就变得越来越不或许。这些重复的数据，在模型中的比重就会比不重复的数据或许更高。从而导致模型在生成时，更倾向于生成重复的内容。
而在模型方面，越大的模型掌握的常识越多，这导致模型更简单犯参数化常识误差的问题。也便是说，模型是从自己的常识中生成内容，而不是从输入的资猜中生成内容。这就导致了模型生成的内容更倾向于自己的常识，而不是输入的资猜中的常识。
咱们能够将错觉分为两类，内涵错觉和外在错觉。
内涵错觉是指生成的输出与源内容相对立。这个相对简单判别，由于咱们能够通过源内容来判别生成的内容是否正确。 外在错觉是指生成的输出无法从源内容中验证。在许多使命中，这样的错觉或许是有益的，由于是模型从自己的常识库里调用了常识，补充了源资猜中没有的内容。可是，对于另一些严厉需求依据源资料生成的使命，这样的错觉便是有害的，并且很难发现。
咱们做过的阅览了解的问题，许多搅扰选项便是这样的错觉。比方要阅览的资料是讲李白和汪伦的友情，而搅扰项或许就有李白和孟浩然的交往。在前史上李白和孟浩然确实是朋友，可是从资猜中找不到这样的信息，假如大模型的生成了这样的信息，这便是外在错觉。
不管是内涵错觉还是外在错觉，都有或许是模型依据类似性泛化出来的，有或许是对的，有或许是错的，还有或许底子没办法判别对错。
当咱们去用大模型做一些对于错觉的容忍度比较低的使命时，需求想办法做验证。比方摘要和翻译这样的使命，就需求当心。
数据原因导致的错觉
发生错觉的一部分重要原因，便是数据的质量不够好。Garbage in, Garbage out的基本原理对于大模型依然是适用的。
启示式数据集
为了下降数据的本钱，练习大模型时，许多数据并不都是由人类来校验过的，而是采用了一些启示时的办法。比方，从wiki中获取的数据，在写作的时分，其实就没有遵循严厉的标准。对于海量的数据，咱们采纳一些假定，比方假定总是定论先行，后边是论据。
这种对语料库的近似处理并不是近几年模型变大之后才有的，早在2016年的时分语料库就开始运用启示式办法来结构了。
2020年Google和卡耐基梅隆大学的一项研讨《ToTTo: A Controlled Table-To-Text Generation Dataset》指出，现有的模型生成的文字很流畅，可是有时分就会梦想出表格中没有的一些新短语。
2019年加州大学的一篇研讨《Revisiting Challenges in Data-to-Text Generation with Fact Grounding》指出现有的RotoWire数据会集，类编写的摘要中有大约40%的内容无法直接映射到任何输入的表格记载，，这导致了模型在学习时简单发生不符合事实的梦想。为此，作者提出一个质量更好的新的数据集。
现在基本上各大商用模型都并不揭露自己的数据集，也很难假定厂商自己有这样的人力和上面的几个研讨相同去细心检查数据集。
数据重复
2022年Google大脑团队的一项研讨《Deduplicating Training Data Makes Language Models Better》指出，来自预练习语料库的重复示例会导致模型偏向于生成重复的、来自重复示例中回忆短语的输出。他们发现了现有的言语模型数据会集存在许多近似重复的样本和长重复的子串，导致言语模型在无提示输出时有超过1%的文本是从练习数据中直接仿制的。
这种重复不但出现在练习集内部，也同时出现在练习集和验证集之间，导致超过4%的验证集其实是无效的。
数据的内涵差异
2021年来自Google的一项研讨《Increasing Faithfulness in Knowledge-Grounded Dialogue with Controllable Features》指出，在人类编写的回复中，也并不是都有理有据的答复，有的是非常片面的信念，也有的便是随意闲聊。所以该论文提出了添加一些评估目标，让答复数据更有依据的改进办法。
综上三种，要么是数据量太大人标不过来而采纳一些近似的办法，要么是有重复数据没有过滤，要么是人类自身的答复就风格不统一等等，这些数据上的问题导致模型的输入就不是那么满足有用。
要学习一个流畅的言语模型自然是没有问题的，可是想要像常识库相同精准，确实是有点难为大模型了。
模型原因导致的错觉
依据研讨，即使是能够做到高水平的语料库，依然或许由于模型的练习和推理的原因发生错觉。
这其实也好了解，由于练习数据和推理用的数据并不是彻底相同的。这跟你不管用多少年的股价信息来做练习，也难以猜测未来的股价是一个道理。
不完善的表明学习
编码器的作用是了解和将输入文本编码为有意义的表明。具有有缺陷了解才能的编码器或许会影响错觉的程度。当编码器在练习数据的不同部分之间学习到过错的相关性时，或许导致与输入纷歧致的过错生成成果。
过错的解码
解码器接收编码器的编码输入并生成最终的目标序列。解码过程中的两个方面会导致错觉的出现。首要，解码器或许会重视过错的编码输入部分，导致过错的生成成果。这种过错的关联会导致生成的内容中混淆了两个类似实体之间的事实。 其次，解码战略自身的规划也或许导致错觉的发生。提高生成多样性的解码战略（例如top-k采样）与错觉的添加呈正相关。
为了添加生成作用的随机性，咱们会提高top-k采样的采样数量，可是这样的话，就会导致更多的错觉。
曝光误差
假定咱们也处理了上面说的解码问题，一个新的问题叫做曝光误差问题还是难以避免，它界说为练习和推理时解码之间的差异。
常见的练习办法是运用教师强制最大似然估计（MLE）练习来练习解码器，在这种练习中，解码器被鼓励依据实在的前缀序列猜测下一个令牌。可是，在推理生成过程中，模型会依据之前由自身生成的前史序列来猜测下一个令牌。这种差异或许导致越来越过错的生成成果，特别是当目标序列变得更长时。
比方咱们用马丁路德金的著名讲演《I have a dream》来练习模型：
I have a dream that one day this nation will rise up and live out the true meaning of its creed: “We hold these truths to be self-evident, that all men are created equal.”
I have a dream that one day on the red hills of Georgia, the sons of former slaves and the sons of former slave owners will be able to sit down together at the table of brotherhood.
I have a dream that one day even the state of Mississippi, a state sweltering with the heat of injustice, sweltering with the heat of oppression, will be transformed into an oasis of freedom and justice.
I have a dream that my four little children will one day live in a nation where they will not be judged by the color of their skin but by the content of their character.
练习的时分，模型得到的常识是，“I have a dream”后边最或许的单词是that。而“I have a dream that”最或许是one，也有必定或许是my。而假如是“I have a dream that one day”，那或许性就比较多了。这时分假如模型依据自己的常识生成了一个过错的单词，比方“one”，那么后边的内容就会跟着误差，从此越跑越远，跟金先生的原文就越来越无关了，这或许是大模型的梦想，可是不必定是金博士的梦想了。
参数化常识误差
其实咱们现在跟chatgpt聊天时，大部分都是靠chatgpt模型自身所学的参数化常识来输出的。这些参数化的常识显著地提高了许多自然言语处理使命的功能，比方说它自身对于情感分析就有自己的判别，再结合资料给的样例去对齐，就比只看资料自身带来的了解更为准确。
可是，信息论告诉咱们，假如你提供1个比特的输入想得到多个比特的输出，那么你就需求提供更多的信息。假如你想用大模型中已有的参数化常识来进行补齐，就要承当有误差的风险。
这就像一枚硬币有正反两面，不能够只要其中一面相同。古人云：阴在阳之内，不在阳之对。参数化常识也是相同。
缓解错觉的办法
最终，咱们再讲解一下怎么缓解错觉。从现在业界的作用来看，错觉问题肯定是没有被处理掉的。 可是有一些思路能够缓解错觉的发生。其中像强化学习正是咱们上节着重讲的内容。另外咱们在运用openai的服务时能够发现，其在服务端还有一个后处理的服务，假如生成了不合适的内容，就会被这个监控服务给处理掉。
前面咱们讲了，错觉发生的原因是由于数据和模型两个方面，所以处理方案也是从这两方面入手，另外添加一个后处理的办法，便是先污染再管理。
数据类的思路，一个是花人工好好构建有质量的数据。另外，是写一些工具去处理比较重复数据的内容，去做清洗。 最终，数据还能够跟权威数据等进行对齐，不符合的数据清洗掉。
模型的办法，咱们前面也讲了，总共就注意力机制、编码器和解码器三个方面。后边咱们深入讲模型架构的时分再讲。
从练习和推理方面，咱们能够先拟定一个骨架或者模板让大模型参考，或者是采纳受控生成的办法，添加限制以削减错觉的发生。 当然，这两种限制，在削减错觉的同时，也在下降模型的创造力甚至是生成才能。一些来自openai的消息便是为了安全性，其实模型的功能是有所丢失的。
最终便是强化学习和多使命学习这两种了。强化学习的思路是，让模型自己去探索，然后依据反馈来调整。多使命学习的思路是，让模型同时学习多个使命，这样就能够让模型的常识愈加丰厚，从而削减错觉的发生。
小结
其实论文中结合了更种使命有更细节的描述，并且咱们不能只看总述，还要看一些重要的论文自身。不过这一讲的篇幅已经很长了，咱们后边针对详细专题还会滚动式添加常识内容。
