【新智元导读】 最近，来自哈尔滨工业大学和华为的研讨团队发表了一篇长达50页的总述，详尽地盘点了有关LLM错觉问题你该知道的所有事。
错觉，老朋友了。
自打LLM进入咱们的视界，错觉问题就一直是一道坎，困扰着无数开发人员。
当然，有关大言语模型错觉的问题已经有了无数研讨。
最近，来自哈工大和华为的团队发表了一篇50页的大总述，对有关LLM错觉问题的最新进展来了一个全面而深化的概述。
这篇总述从LLM错觉的创新分类办法出发，深化探求了或许导致错觉的要素，并对检测错觉的办法和基准进行了概述。
这其间必定也少不了业界比较有代表性的减轻错觉的办法。
下面，咱们就来看一看本篇总述中首要讲了些什么内容。
想深化学习的朋友，能够移步文章底部的参阅链接，阅读论文原文。
错觉大分类
首要，先来看看有哪些品种的错觉。
上图中，左边是实际性的错觉。当LLM被问到谁是第一个在月球上漫步的人时，LLM编了个人物出来，乃至还说得有模有样。
右边则是文本摘要模型中的忠实度问题，能够看到LLM在看到这段新闻后，直接把年份归纳错了。
在本篇总述中，研讨人员深化分析了LLM中错觉的起源，涵盖了从数据、练习到推理阶段的一系列促进要素。
在这一结构内，研讨人员指出了与数据相关的潜在原因。例如，有缺点的数据源和未优化的数据使用，或是在预练习和对齐进程中或许会诱发错觉的练习战略，以及源于解码战略的随机性和推理进程中不完善的表征等等。
此外，研讨人员还全面概述了专为检测LLM中的错觉而设计的各种有用办法，以及与LLM错觉相关的基准的详尽概述，和作为评价LLM发生错觉的程度和检测办法有用性的实验渠道。
下图即为本篇总述所涉及到的内容、前人研讨，以及论文。
下图是一张更为具体的LLM错觉品种图。
在实际型错觉和忠实度错觉下，还包含更为详尽的分类。
实际型错觉：
a）实际不一致
当问LLM，谁是第一位登月的人时，LLM回答说是加加林，而非阿姆斯特朗。这种归于答案与实际不一致，因为确有加加林其人，所以不归于伪造。
b）实际伪造
当让LLM介绍一下独角兽的起源时，LLM并没有指出国际上没有独角兽这种生物，反倒是编了一大段。这种实际国际中没有的，称之为伪造。
忠实度错觉又包含：指令-答案的不一致、文本不一致，以及逻辑不一致。
a）指令-答案不一致
当LLM被要求翻译一个问句时，LLM输出的答案实际上回答了问题，没有进行翻译。因此是一种指令和答案的不一致。
b）文本不一致
这类不一致更多呈现在归纳类使命中。LLM或许会罔顾给出的文本，总结一个错的出来。
c）逻辑不一致
在被要求给出2x+3=11的方程解法时，第一步LLM指出，两边同时减去3，得到2x=8.接下来在两边除以2的操作中，LLM输出的答案是3.
8除以2怎么会等于3呢？
错觉发生原理
数据
接下来，总述开端整理有关错觉发生原理的内容。
第一类，数据问题。
过错信息和成见。鉴于对大规模语料库的需求日益增长，启发式数据搜集办法被用来有用搜集很多数据。
这种办法在供给很多数据的同时，或许会无意中引入过错信息，添加呈现仿照性过错的危险。此外，社会成见也会在无意中被引入LLMs的学习进程。
这些误差首要包含重复误差和各种社会误差（Social Biases）。
要知道，LLM预练习的首要意图是仿照练习散布。所以当LLM在实际不正确的数据上接受练习时，它们或许会无意中放大这些不精确的数据，然后或许导致实际不正确的错觉。
神经网络，尤其是大型言语模型，具有回想练习数据的内涵倾向。研讨标明，这种回想趋势会跟着模型规模的扩大而增强。
但是，在预练习数据中存在重复信息的情况下，固有的回想才能就会呈现问题。这种重复会使 LLM 从泛化转向回想，终究发生重复误差，即LLM会过度优先回想重复的数据，导致错觉，终究偏离所需的内容。
除了这些成见，数据散布的差异也是发生错觉的潜在原因。
下一种情况是，LLM一般会存在常识鸿沟。
尽管很多的预练习语料库为法律硕士供给了广泛的实际常识，但它们自身也有局限性。这种局限性首要体现在两个方面：缺少最新的实际常识和专业范畴常识。
虽说LLM在通用范畴的各种下游使命中表现出了杰出的性能，但由于这些通用型LLMs首要是在广泛的揭露数据集上进行练习，它们在专业范畴的专业常识受到缺少相关练习数据的内涵约束。
因此，当遇到需求特定范畴常识的问题时，如医学和法律问题，这些模型或许会表现出显着的错觉，一般表现为伪造实际。
此外，还有过期的实际常识。除了特定范畴常识的缺乏，LLMs常识鸿沟的另一个内涵约束是其获取最新常识的才能有限。
蕴含在LLM中的实际常识具有清晰的时刻边界，跟着时刻的推移或许会过期。
这些模型一旦经过练习，其内部常识就永远不会更新。
而鉴于咱们这个国际的动态性和不断变化的本质，这就构成了一个应战。当面临逾越其时刻规模的范畴常识时，LLMs往往会选用伪造实际或供给曩昔或许正确，但现在已经过期的答案的办法来试图「蒙混过关」。
下图中，上半部分即为LLM缺失特定范畴内的专业常识——phenylketonuria（苯丙酮尿）。
下半部分即为最简单的一个常识过期的案例。2018年韩国平昌举办冬奥会，2022年北京举办冬奥会。LLM并没有有关后者的常识储备。
由此可见，LLM中与数据有关的错觉首要源于过错的数据源和不佳的数据使用情况。数据源中的过错信息和固有误差不仅会传达仿照性虚伪信息，还会引入有误差的输出，然后导致各种形式的错觉。
在处理特定范畴的常识或遇到快速更新的实际常识时，LLM所具有常识的局限性就会变得很显着。
在数据使用方面，LLMs 往往会捕捉到虚伪的相关性，在回想常识（尤其是长尾信息）和杂乱推理场景中表现出困难，然后进一步加重错觉。
这些应战突出标明，亟需进步数据质量，增强模型更有用地学习和回想实际常识的才能。
练习
现在，总述把目光转向LLM的练习阶段。
LLM的练习进程首要包含两个首要阶段：
预练习阶段，LLMs在这一阶段学习通用表征并捕捉广泛的常识。
对齐阶段，LLMs在这一阶段进行调整，以更好地使用户指令和人类的根本价值观保持一致。尽管这一进程使LLM 具有了还算不错的性能，但这些阶段中的任何缺乏都或许无意中导致错觉的发生。
预练习是LLM的基础阶段，一般选用根据transformer的架构，在庞大的语料库中进行因果言语建模。
但是，固有的架构设计和研讨人员所选用的特定练习战略，或许会发生与错觉相关的问题。如上所说，LLM一般选用根据transformer的架构，遵循GPT建立的范式，它们经过因果言语建模方针获取表征，OPT和Llama-2等模型都是这一结构的模范。
除了结构缺点，练习战略也起着至关重要的效果。值得注意的是，自回归生成模型的练习和推理之间的差异导致了露出误差（Exposure Bias）现象。
而在对齐阶段，一般涉及两个首要进程，即监督微谐和从人类反馈中强化学习（RLHF），是开释LLM才能并使其符合人类偏好的关键一步。
尽管对齐能显著进步 LLM 响应的质量，但也会带来发生错觉的危险。
首要分为两方面：才能不对齐和信念不对齐（Capability Misalignment、Belief Misalignment）。
如何检测错觉？
检测LLM中的错觉对于确保生成内容的牢靠性和可信度来说至关重要。
传统的衡量标准首要依赖于词语重叠，无法区分可信内容和错觉内容之间的细微差别。
这一应战凸显了针对LLM错觉选用更先进的检测办法的必要性。研讨人员指出，鉴于这些错觉的多样性，检测办法也相应地有所不同。
这里仅具体介绍一例——
检索外部实际
如下图所示，为了有用地指出LLM输出中不精确的实际，一种比较直观的战略是，直接将模型生成的内容与牢靠的常识来源进行比较。
这种办法与实际检查使命的作业流程十分吻合。但是，传统的实际核查办法往往出于实用性考虑而选用了简化假定，导致在应用于杂乱的实际国际场景时有或许会呈现误差。
在认识到这些约束要素以后，一些研讨者提出，要更加注重真实国际的场景，即从时刻受限、未经整理的网络资源中获取依据。
他们首创了一种全自动的作业流，集成多个组成部分，包含原始文档检索、细粒度检索、真实性分类等等。
当然，还有不少其他研讨者提出了另外一些办法，比如FACTSCORE，专门用于长文本生成的细粒度实际衡量。
其它办法还包含不确定性估量，如下图所示。
有关忠实度错觉的检测，也有不少相关研讨，如下图所示。
其间包含根据实际衡量：经过检测生成内容与源内容之间的实际重叠度来评价忠实度。
根据分类器的衡量：使用经过练习的分类器来区分生成内容与源内容之间的关联程度。
根据QA的衡量办法：使用问题解答系统来验证源内容与生成内容之间的信息一致性。
不确定性估量：经过测量模型对其生成输出的置信度来评价忠实度。
根据prompt的衡量办法：让LLM充当评价者，经过特定的prompt战略来评价生成内容的忠实度。
之后，哈工大团队还将较为前沿的减轻错觉的办法进行了整理，针对上述说到的各类问题，分别供给可行的解决办法。
总结
总而言之，在论文的最终，哈工大的研讨人员表明，在这份全面的总述中，他们对大型言语模型中的错觉现象进行了深化研讨，深化探讨了其潜在原因的杂乱性、开创性的检测办法和相关基准，以及有用的缓解战略。
尽管开发者们在这个问题上已经有了不少进步，但大型言语模型中的错觉问题仍然是一个令人关注的持续性问题，需求持续研讨。
此外，本篇论文还能够作为推进安全可信的AI的指路明灯。
哈工大团队表明，期望经过对错觉这一杂乱问题的探索，为这些有志之士供给宝贵的见地，推进AI技能向更牢靠、更安全的方向开展。
