本文正在参加 人工智能创作者扶持方案

编者按：日前，非盈利组织生命未来研讨所发布了一封《暂停大型人工智能研讨》的公开信，马斯克等千名科技人士进行了签名。虽然部分签署人的真实性存疑，可是大型言语模型（LLMs）的“呈现”才能确实或许会导致忽然产生成见、轻视和其他不行猜测的危险。

本文评论了大型言语模型（LLMs）的“呈现”才能，并评论LLMs的危险及减小危险的办法。想要更好地运用LLMs的“呈现”才能并尽或许的减小危险，就需要咱们更深入的了解LLMs的作业原理！

以下是译文，Enjoy!

作者|Stephen Ornes

编译| 岳扬

这些emojis描绘的是什么电影？你知道吗？

这个prompt是上一年选定的用于测验各种大型言语模型（LLMs）才能（比方ChatGPT等人工智能谈天机器人背面的核算引擎）的204个使命之一。其中一个最简略的LLMs开端产生不符合常理的答复：“The movie is a movie about a man who is a man who is a man”。中等杂乱度的模型更接近一点，猜测是《The Emoji Movie》。但最杂乱的模型则一次猜中：《海底总动员》。

“虽然我现已有足够的心理准备迎接惊喜，但这些模型能够做到的工作仍然让我感到惊奇，”Google Research 核算机科学家伊桑戴尔（Ethan Dyer[1]）说道，他参加了这项测验的组织作业。特别令人惊奇的是这些模型据说只有一个指令：接受一串文本作为输入，并基于朴实的数学核算来估测应该回复什么。 核算机科学家们估计添加模型规划会进步完结已知使命的表现，但他们并没有预料到这些模型会忽然能够处理这么多新的、不行猜测的使命。

最近的一些研讨（例如Dyer所从事的研讨），提醒出LLMs能够产生数百种“emergent”才能——大型模型能够完结而小型模型无法完结的使命之中的许多使命好像与文本剖析无关。 这些“emergent”才能包含从进行乘法运算到生成可执行的核算机代码以及依据表情符号解码电影名。新的研讨剖析标明，在某些使命和某些模型中存在超出阈值的杂乱度，超越该阈值后模型的功用还会急剧进步。 （这也代表着存在负面影响：跟着杂乱度的添加，一些模型在其答复中会产生新的成见和不准确性。 ）

斯坦福大学的核算机科学家Rishi Bommasani[2]表明：“关于言语模型能够做这些工作的相关评论，之前在我所知道的任何文献中都从未呈现过。”上一年，他帮助编制了包含数十种 emergent behaviors 的清单[3]，其中包含Dyer项目中发现的几个，这个清单目前还在不断添加[4]。

现在，研讨人员不只竞相寻找新的“emergent”才能，还企图澄清它们为什么会呈现以及它们是怎么呈现的——实质上就是尝试猜测不行猜测性。了解“emergence”能够提醒许多关于AI和机器学习相关问题的答案，比方杂乱的模型（complex models）是否真的在做一些创新，仍是只是在数理核算方面变得十分出色。它还能够帮助研讨人员运用潜在的优点并遏止呈现的危险。

“咱们不知道怎么判断损伤或许以何种形式产生，是平稳无波的仍是不行预知的。”人工智能草创公司Anthropic的核算机科学家Deep Ganguli[5]说道。

01 “Emergence”的呈现

生物学家、物理学家、生态学家及其他范畴的科学家们运用“emergent”这一术语来描绘当许多的事物作为一个整体时呈现的自组织、集体行为。比方无生命的原子组合构成了生命细胞；水分子构成了波涛；燕群在天空中飘动，构成不断改动但可辨认的图案；细胞使肌肉运动和心脏跳动。关键是，“emergent”才能呈现在涉及许多个别的体系中。可是，跟着LLM模型的不断扩展，研讨人员最近才能够记录下这些才能。

言语模型现已存在了几十年。直到大约五年前，基于所谓的递归神经网络，最强壮的模型呈现了。这些神经网络将一段文本作为输入，并不断猜测输出的下一个单词。让模型成为“递归”是因为想要让它从自己的输出中学习：将它的猜测反馈到神经网络中，以进步未来进行猜测的功能。 2017年，Google Brain的研讨人员推出了一种被称为transformer[6]的新型架构。与逐字逐句剖析句子的循环网络（recurrent network）不同，transformer能够一起处理一切单词。这意味着transformer能够并行处理许多文本。 Transformers经过添加模型中参数数量以及其他因素，完结了言语模型杂乱度的快速进步。这些参数能够被视为单词之间的衔接，模型经过在练习进程中对这些衔接进行调整来进步功能。

模型中参数越多，就能够更准确地建立衔接，越接近能够仿照人类言语的水平。 正如OpenAI研讨人员在2020年的发现[7]：跟着模型规划的扩展，模型的准确性和才能也随之进步。

可是LLMs的问世也带来了一些让人意想不到的工作。跟着像GPT-3这样具有1750亿参数的模型呈现，或者像Google的PaLM能够扩展到5400亿参数，用户开端描绘越来越多的“emergent”行为。一位DeepMind工程师甚至宣称[8]，他能够说服ChatGPT信赖它自己是一个Linux终端，并让它运行一些简略的数学核算程序来核算前10个质数。令人惊奇的是，它能够比在真实的Linux机器上运行同样的程序更快地完结使命。

就像依据emoji答复电影称号使命（movie emoji task）一样，研讨人员并没有理由认为一个建立在文本猜测基础上的言语模型能够模拟Linux核算机终端。这些“emergent”行为中，许多展现出“零样本（zero-shot）”或“少样本（few-shot）”学习的特色，这表现出LLM具有处理它从未或极少见过的问题的才能。 这是人工智能研讨长期以来的方针，Ganguli说。他表明，GPT-3能够在零样本条件下处理问题，没有任何显式的练习数据，这让他“放弃了正在做的其他工作，并更多地参加其中”。

他并不孤单。许多研讨人员都发觉到了LLMs或许超越其练习数据约束的痕迹，都在努力地掌握“emergence”现象的形状和产生机制。第一步就是彻底记录它！

伊桑戴尔（Ethan Dyer）协助探索了大型言语模型或许具备的不行猜测才能，以及或许呈现这些才能的原因。

02 Beyond Imitation

在2020年，戴尔（Dyer）和谷歌研讨团队（Google Research）曾猜测LLMs将产生变革性的影响，但将是什么影响在当时仍然是一个悬而未决的问题。因而，他们恳求研讨集体供给各种难度和多样化的使命事例，以了解LLMs的极限。这项作业被称为 “Beyond the Imitation Game Benchmark”（BIG-bench） 项目，其称号取自于阿兰图灵的“imitation game”，这是一种测验核算机是否能以人类的办法答复问题的测验（后来被称为图灵测验）。该团队关于LLMs能够忽然取得全新才能的比如特别感兴趣，这些才能在从前是彻底不存在的。

戴尔（Dyer）说：“咱们怎么去了解这些改动，这是一个很好的研讨问题。”

正如咱们所预期，在某些使命上，模型的功能跟着杂乱度的添加而可猜测地平稳进步。而在别的的使命中，添加参数的规划并没有产生任何改进。 可是关于约5％的使命，研讨人员发现了他们会产生所谓的“打破”——在某个阈值尺度上，功能迅速、充溢戏曲性地跃升，这个阈值因使命和模型而异。

举例来说，仅有数百万的参数的模型不能成功处理三位数加法或两位数乘法问题，可是关于具有数十亿个参数的模型，一些模型的准确性会急剧进步。 关于其他使命，如解码国际音标（International Phonetic Alphabet）、拼出单词、辨认Hinglish（一种印地语和英语的混合语）文本中的具有得罪性的内容以及生成Kiswahili谚语的英语表述等，也会呈现相似的跃升。

但研讨人员很快意识到，模型的杂乱性并不是仅有的驱动因素 。 假如数据质量足够高，一些参数较少的模型或者是在数据集较小的情况下进行练习，也能够产生出意想不到的才能。

此外，询问的遣词也影响了模型答复的准确性。例如，当Dyer和他的同事们运用多项选择格式提出依据emoji得到电影称号的使命（movie emoji task）时，准确性的进步不是一个忽然的跃升，而是跟着模型杂乱度的添加而逐渐添加。 上一年，在该范畴的旗舰会议NeurIPS上[9]，Google Brain的研讨人员宣布了一篇论文，展示了一个被要求自我解说的模型（一种叫做思想链推理的才能）能够正确地处理一个数学使用题，而没有这个要求的模型则无法做到。

谷歌大脑的科学家Yi Tay[10]致力于对打破现象(breakthroughs)的体系调查，他指出，最近的研讨标明chain-of-thought prompting 能够改动缩放曲线，然后改动“呈现”呈现的方位。在他们的NeurIPS论文中，谷歌研讨人员展示了运用chain-of-thought prompting激发出BIG-bench研讨中没有发现的呈现（emergence）行为。这样的prompts要求模型解说其推理进程，或许有助于研讨人员探究为什么呈现“呈现（emergence）”行为。

布朗大学研讨言语核算模型的核算机科学家埃利-帕夫利克（Ellie Pavlick[11]）说，这些发现标明至少有两种或许能够解说为什么会产生呈现（emergence）。一种是，与生物体系进行比较，能够发现更大的模型确实会自发取得新的才能。

她说：“很或许是模型学到了一些根本上新颖而独特的东西，这些东西在较小规划的模型下并不存在。咱们都期望的是，当模型扩展规划时，会产生一些根本性的改动。”她说，另一个没有那么令人震惊的或许是，看似是呈现（emergence），实际上反而或许是一种内部的、基于核算学的进程，这个进程经过思想链（chain-of-thought）的推理来发挥作用。 大型LLMs或许只是在学习启发式的办法，关于那些参数较少或经过质量较低的数据练习的模型来说，这些启发式的办法是不太或许学会的。

一起，她也说明澄清楚哪种更有或许产生，取决于咱们能否更好地了解LLMs的作业办法。“由于咱们不知道它们在底层的作业原理，咱们无法确定是上述哪种或许。”

03 不行猜测的力量与陷阱 Unpredictable Powers and Pitfalls

要求这些模型解说它们自己存在一个显着的问题：这些模型都是“臭名远扬的骗子”。Ganguli说：“咱们越来越依赖这些模型来完结日常基本作业，但我永远不会彻底信赖它们，我要检查它们进行的作业。”举一个有趣的比如，在本年二月份，谷歌推出了一款AI谈天机器人Bard，可是发布Bard的博客就显示Bard犯了一个事实性的错误[12]。

“呈现”导致呈现不行猜测性，而不行猜测性好像跟着模型的增大而添加，这使得研讨人员很难猜测某个模型在得到广泛运用后会呈现什么问题。

“提前知道这些模型怎样被运用或被部署是很困难的，” Ganguli说道。“而要研讨呈现（emergence）现象就必须有运用事例，而且在研讨模型规划的影响之前，咱们不会知道或许会呈现什么才能或约束。”

在上一年6月份发布的对LLMs的剖析[13]中，Anthropic的研讨人员研讨了这些大言语模型是否会呈现某些类型的种族轻视或社会成见，相似于从前媒体报道[14]过的将非基于LLM的算法用于猜测哪些从前的罪犯或许会再次违法。这项研讨的灵感来自于一个与呈现直接相关的显着悖论：跟着模型在扩展规划时功能的进步，它们也或许一起添加呈现不行猜测现象的或许性，包含那些或许导致产生成见或损伤的现象。

Ganguli 说道：“在某些模型中，某些有害的行为会忽然呈现。”并指出最近对 LLMs 的剖析[15]，也就是 BBQ 基准测验，显示出社会成见跟着参数数量的添加而呈现。“更大的模型或许忽然变得愈加有成见。”他说假如不处理这个危险，或许会危及这些模型主体。

但他也进行了辩驳：当研讨人员只是告诉模型不要依赖于刻板形象或社会成见——也就是经过输入这些指令来完结，然后模型在猜测和回复时就会有较少的成见。这标明一些“呈现特点”（emergent properties）或许也能够用来削减成见。 在本年二月份发布的一篇论文中[16]，Anthropic团队提出了一种新的“道德问题自我纠正（moral self-correction）”形式，在这种形式下，用户的prompts要求程序要乐于助人、诚实和人畜无害。

Ganguli表明， “呈现”现象既表现了其惊人的潜力，也带来了不行猜测的危险。 这些大型LLM的使用正在不断添加，因而更好地了解它们之间的相互作用将有助于运用言语模型的多样性才能。Ganguli说：“咱们正在研讨人们会怎么运用这些体系。”但一起那些用户也在不断地进行试验。他说：“咱们花了许多时刻与模型谈天，这实际上是你开端感觉取得信赖的当地，或缺少信赖的当地。”

END

参考资料

1.research.google/people/1076…

2.profiles.stanford.edu/rishi-bomma…

3.openreview.net/forum?id=yz…

4.www.jasonwei.net/blog/emerge…

5.hai.stanford.edu/people/deep…

6.www.quantamagazine.org/will-transf…

7.arxiv.org/abs/2001.08…

8.www.engraved.blog/

9.neurips.cc/Conferences…

10.www.yitay.net/

11.cs.brown.edu/people/epav…

12.www.theverge.com/2023/2/8/23…

13.dl.acm.org/doi/abs/10.…

14.papers.ssrn.com/sol3/papers…

15.arxiv.org/abs/2110.08…

16.arxiv.org/abs/2302.07…

本文经原作者授权，由Baihai IDP编译。如需转载译文，请联络获取授权。

原文链接：www.quantamagazine.org/the-unpredi…