「但我现已老了，我所希望的是像你们这样的年轻有为的研讨人员，去想出咱们如何可以具有这些超级智能，使咱们的生活变得更好，而不是被它们操控。」
6 月 10 日，在 2023 北京智源大会的闭幕式讲演中，在谈到如何防止超级智能诈骗、操控人类的话题时，本年 75 岁的图灵奖得主 Geoffrey Hinton 不无慨叹地说道。
Hinton 本次的讲演标题为「通往智能的两种路途」（Two Paths to Intelligence），即以数字办法履行的永存核算和依赖于硬件的可朽核算，它们的代表分别是数字核算机和人类大脑。讲演最终，他要点谈到了大型言语模型（LLM）为他带来的对超级智能威胁的忧虑，关于这个涉及人类文明未来的主题，他十分直白地展现了自己的失望情绪。
讲演一开端，Hinton 便宣称，超级智能（superintelligence）诞生的时间或许会比他曾经幻想的早得多。这一观察引出了两大问题：（1）人工神经网络的智能水平将会很快超越真实神经网络吗？（2）人类是否能确保对超级 AI 的操控？在大会讲演中，他详细评论了榜首个问题；针对第二个问题，Hinton 在讲演的最终表明：超级智能或许将很快到来。
首先，让咱们来看看传统的核算办法。核算机的规划原则是要能精准地履行指令，也便是说假设咱们在不同的硬件上运转相同的程序（不论是不是神经网络），那么效果应该是相同的。这就意味着程序中包含的常识（如神经网络的权重）是永存的，与具体的硬件没有关系。
为了完成常识的永存，咱们的做法是以高功率运转晶体管，使其能以数字化（digital）的办法牢靠运转。但这样做的一起，咱们就相当于抛弃了硬件其它一些性质，比如丰厚的模仿性（analog）和高度的可变性。
传统核算机之所以采用那样的规划形式，是由于传统核算运转的程序都是人类编写的。现在随着机器学习技能的发展，核算机有了另一种获取程序和使命方针的办法：依据样本的学习。
这种新范式让咱们可以抛弃之前核算机系统规划的一项最基本原则，即软件规划与硬件分离；转而进行软件与硬件的协同规划。
软硬件分离规划的优点是能将同一程序运转在许多不同的硬件上，一起咱们在规划程序时也能只看软件，不论硬件 —— 这也是核算机科学系与电子工程系可以分开设立的原因。
而关于软硬件协同规划，Hinton 提出了一个新概念：Mortal Computation。 对应于前面说到永存办法的软件，咱们这儿将其译为「可朽核算」。
可朽核算是什么？
可朽核算抛弃了可在不同硬件上运转同一软件的永存性，转而采纳了新的规划思路：常识与硬件的具体物理细节密不可分。这种新思路自然也有优有劣。其间首要的优势包含节省能源和低硬件成本。
在节能方面可以参看人脑，人脑便是一种典型的可朽核算设备。尽管人脑中也依然有一个比特的数字核算，即神经元要么发射要么不发射，但全体来说，人脑的绝大多数核算都是模仿核算，功耗十分低。
可朽核算也可以运用更低成本的硬件。相较于现如今以二维形式高精度出产的处理器，可朽核算的硬件能以三维形式「成长」出来，由于咱们不需求清晰知道硬件的连接办法以及每个部件的确切功能。很显然，为了完成核算硬件的「成长」，咱们需求许多新型纳米技能或对生物神经元进行基因改造的才能。改造生物神经元的办法或许更容易完成，由于咱们现已知道生物神经元大致可以完成咱们想要的使命。
为了展现模仿核算的高效才能，Hinton 给出了一个示例：核算一个神经活动向量与一个权重矩阵的积（神经网络的大部分作业都是此类核算）。
关于该使命，当前核算机的做法是运用高功耗的晶体管将数值表明成数字化的比特办法，然后履行 O (n) 数字运算将两个 n 比特的数值相乘。尽管这仅仅核算机上的单个运算，但却是 n 个比特的运算。
而假设运用模仿核算呢？咱们可以将神经活动视为电压，将权重视为电导；那么每一单位时间里，电压乘以电导可得到电荷，电荷可以叠加。这种作业办法的能效会高许多，而且其完成在现已存在这样作业的芯片了。但很不幸，Hinton 表明，现在人们仍是要运用十分昂贵的转换器将模仿办法的成果转换成数字办法。他希望以后咱们能在模仿范畴完成整个核算过程。
可朽核算也面对着一些问题，其间最首要的是难以确保成果的共同性，即在不同硬件上的核算成果或许会有所不同。别的，在反向传达不可用的状况下，咱们还需求找到新办法。
可朽核算面对的问题：反向传达不可用
在特定硬件上履行可朽核算的学习时，就需求让程序学习运用该硬件的特定模仿特点，但它们无需知道这些特点终究是什么。举个比如，它们无需知道终究神经元的内部连接办法终究是怎样的，该神经元的输入和输出又是经过什么函数相关起来的。
这意味着咱们不能运用反向传达算法来获取梯度，由于反向传达需求一个确切的前向传达模型。
那么既然可朽核算不能运用反向传达，咱们又该怎样做呢？下面来看看在模仿硬件上履行的一个简略学习过程，其间用到的办法称为权重扰动。
首先，为网络中的每个权重生成一个随机向量，该向量由随机的小扰动构成。然后，依据一个或少数样本，测量全局方针函数在运用这个扰动向量后的改动状况。最终，依据方针函数的提升状况，将该扰动向量带来的效果按份额尺度永久化到权重之中。
这个算法的优点是其大致上的行为形式与反向传达共同，相同遵循梯度。但问题是它具有十分高的方差。因而，当网络规划增大时，在权重空间中选择随机移动方向时所产生的噪声会很大，让这个办法难以为继。这就意味着这种办法仅适用于小型网络，不适用于大型网络。
另一种办法是活动扰动，尽管它也存在相似的问题，但也能更好地用于更大型的网络。
活动扰动办法是要用随机向量对每个神经元的全体输入履行扰动，然后在一小批样本下观察方针函数的改动状况，再核算如何改动该神经元的权重以遵循梯度。
与权重扰动比较，活动扰动的噪声要小得多。而且这种办法现已足以学习 MNIST 这样的简略使命。假设你运用十分小的学习率，那么它的行为就与反向传达完全相同，但速度要慢得多。而假设学习率较大，那么噪声会许多，但也足够应对 MNIST 这样的使命。
可是假设咱们的网络规划还要更大呢？Hinton 说到了两种办法。
榜首种办法是运用巨量方针函数，也便是说不运用单个函数来界说大型神经网络的方针，而是运用很多函数来界说网络中不同神经元集团的部分方针。
这样一来，大型神经网络就被化整为零，咱们就能运用活动扰动来学习小型的多层神经网络。但问题来了：这些方针函数从何而来？
其间一种或许性是在不同层级的部分图块上运用无监督对比学习。其作业办法是这样的：一个部分图块有多个表明层级，在每个层级，该部分图块会极力与同一图画的一切其它部分图块产生的均匀表明坚持共同；与此一起，还要极力与其它图画在该层级的表明坚持差异。
Hinton 表明该办法在实践中的表现很不错。大约的做法是让每个表明层级都具有多个隐藏层，这样可以进行非线性的操作。这些层级运用活动扰动来进行贪婪学习而且不会反向传达到更低层级。由于它不能像反向传达那样传递许多层，因而不会像反向传达那样强大。
实践上这正是 Hinton 团队近些年最重要的研讨成果之一，详情可参看机器之心的报道《抛弃反向传达后，Geoffrey Hinton 参加的前向梯度学习重磅研讨来了》。
Mengye Ren 经过很多研讨表明该办法是可以在神经网络中实践生效的，但操作起来却很复杂，实践效果也还赶不上反向传达。假设大型网络的深度更深，那么它与反向传达的距离还会更大。
Hinton 表明这个能运用模仿特点的学习算法只能说还算 OK，足以应对 MNIST 这样的使命，但也并不是真正好用，比如在 ImageNet 使命上的表现就不是很好。
可朽核算面对的问题：常识的传承
可朽核算面对的另一个首要问题是难以确保常识的传承。由于可朽核算与硬件高度相关，因而无法经过复制权重来复制常识，这就意味着当特定的硬件「死去」时，其学习到的常识也会一并消失。
Hinton 说处理该问题的最好办法是在硬件「死去」之前，将常识传递给学生。这类办法被称为常识蒸馏（knowledge distillation），这一概念是 Hinton 在 2015 年与 Oriol Vinyals 和 Jeff Dean 合著的论文《Distilling the Knowledge in a Neural Network》中最早提出的。
这一概念的基本思路很简略，就相似于教师教授学生常识：教师向学生展现不同输入的正确呼应，学生尝试模仿教师的呼应。
Hinton 运用了美国前总统特朗普发推文为例来进行直观的阐明：特朗普发推时常常会对各种事情做出十分情绪化的回应，这会促使其追随者改动自己的「神经网络」，然后产生相同的情绪反应；这样一来，特朗普就将偏见蒸馏到了其追随者的头脑中，就像「邪教」——Hinton 很显然并不喜爱特朗普。
常识蒸馏办法的效果如何呢？考虑到特朗普拥趸众多，效果应该不会差。Hinton 运用了一个比如进行解释：假定一个智能体需求将图画归类到 1024 个互不堆叠的类别。
要指认出正确答案，咱们只需求 10 比特信息。因而，要练习该智能体正确辨认一个特定样本，只需求提供 10 比特信息来束缚其权重即可。
但假设咱们练习一个智能体使之与一个教师在这 1024 个类别上的概率大致坚持共同呢？也便是说，使该智能体的概率散布与该教师相同。这个概率散布有 1023 个实数，假设这些概率都不是很小，那么其提供的束缚就增多了几百倍。
为了确保这些概率不是太小，可以「高温」运转教师，在练习学生时也以「高温」运转学生。比如说，假设采用的是 logit，那便是输入 softmax 的东西。关于教师来说，可以依据温度参数对其进行缩放，进而得到一个更 soft 的散布；然后在练习学生时运用相同的温度。
下面来看一个具体的比如。下图是来自 MNIST 练习集的字符 2 的一些图画，对应的右侧是当运转教师的温度高时，教师为每张图画分配的概率。
关于榜首行，教师确信它是 2；教师对第二行也有决心是 2，但它也以为或许是 3 或 8。第三行则有些像 0。关于这个样本，教师应该说这是一个 2，但也应该留点或许性给 0。这样一来，比起直接告诉学生这是 2，学生能从中学到更多。
关于第四行，可以看到教师有决心它是 2，但它也以为有点或许是 1，究竟有时候咱们写的 1 就相似于图左边画的那样。
关于第五行，教师出错了，以为它是 5（但依据 MNIST 标签应该是 2）。学生也能从教师的错误中学到许多。
蒸馏有一个很特别的性质，那便是当运用教师给出的概率来练习学生时，那就在练习学生以老师那样的办法来进行泛化。假设教师为错误答案分配了一定的小概率，那么也会练习学生泛化到错误答案。
通常来说，咱们练习模型是为了让模型在练习数据上得到正确答案，并能将这种才能泛化到测试数据上。但运用教师 – 学生练习形式时，咱们是直接练习学生的泛化才能，由于学生的练习方针是能与老师相同地进行泛化。
很显然，咱们可以创立更丰厚的输出以供蒸馏。比如说咱们可以为每张图画赋予一个描绘，而不仅仅是单个标签，然后再练习学生来猜测这些描绘中的词。
接下来，Hinton 谈到了在智能体群中同享常识的研讨。这也是一种传承常识的办法。
当多个智能体构成的社群相互同享常识时，同享常识的办法能在很大程度上决定核算履行的办法。
关于数字模型，咱们可以经过复制创立很多运用相同权重的智能体。咱们可以让这些智能体检查练习数据集的不同部分，让它们各自依据不同部分的数据核算权重的梯度，然后再对这些梯度进行均匀。这样一来，每个模型都学到了其它每个模型学到的常识。这种练习策略的优点是能高效处理很多数据；假设模型很大，就可以在每次同享中同享很多比特。
一起，由于这种办法需求各个智能体的作业办法完全相同，因而就只能是数字模型才行。
权重同享的成本也很高。要让不同的硬件以相同的办法作业，就需求以极高的精准率出产核算机，使得它们在履行相同的指令时总是会得到相同的成果。别的，晶体管的功耗也不低。
蒸馏也可以替代权重同享。尤其是当你的模型用到了特定硬件的模仿特点时，那就不能运用权重同享了，而是必须运用蒸馏来同享常识。
用蒸馏同享常识的效率并不高，带宽很低。就像在校园里，教师都想把自己知道的常识灌进学生脑袋，但这是不或许的，由于咱们是生物智能，你的权重对我没用。
这儿先简略总结一下，上面说到了两种天壤之别的履行核算的办法（数字核算和生物核算），而且智能体之间同享常识的办法也截然不同。
那么现在发展正盛的大型言语模型（LLM）是哪种办法呢？它们是数字核算办法，能运用权重同享。
可是 LLM 的每个副本智能体都只能以十分低效的蒸馏办法学习文档中的常识。LLM 的做法是猜测文档的下一个词，可是并没有教师关于下一个词的概率散布，它有的仅仅一个随机选择，即该文档作者在下一个词位置选用的词。LLM 实践上学习的是咱们人类，但传递常识的带宽十分低。
话又说回来，尽管 LLM 的每个副本经过蒸馏学习的效率十分低，但它们数量多呀，可以多达几千个，也因而它们能学到比咱们多数千倍的东西。也便是说现在的 LLM 比咱们任何人都愈加博学。
超级智能会完结人类文明吗？
接下来 Hinton 提出了一个问题：「假设这些数字智能并不经过蒸馏十分缓慢地学习咱们，而是开端直接从实际国际学习，那么会产生什么呢？」
实践上，LLM 在学习文档时就现已在学习人类数千年所堆集的常识了。由于人类会经过言语描绘咱们对国际的认识，那么数字智能就能直接经过文本学习来取得人类堆集的常识。尽管蒸馏的速度很慢，但它们也的确学到了十分抽象的常识。
假设数字智能可以经过图画和视频建模来进行无监督学习呢？现在的互联网上已有很多印象数据可供运用，未来咱们或许可以找到让 AI 有用学习这些数据的办法。别的，假设 AI 有机器臂等可以操控实际的办法，也能进一步协助它们学习。
Hinton 信任，假设数字智能体能做到这些，那么它们的学习才能将远远胜过人类，学习速度也会很快。
现在就回到了 Hinton 在开端时提出的问题：假设 AI 的智能水平超过咱们，咱们还能操控住它们吗？
Hinton 表明，他做这场讲演首要是想表达出他的忧虑。他说：「我以为超级智能呈现的时间或许会远远快于我之前所想。」他给出了超级智能掌控人类的几种或许办法。
比如不良行为者或许会运用超级智能来操控推举或赢得战争（实践上现在现已有人在用已有 AI 做这些事情了）。
在这种状况下，假设你想要超级智能更高效，你或许会答应它自行创立子方针。而掌控更多权利是一个显而易见的子方针，究竟权利越大，操控的资源越多，就更能协助智能体完成其最终方针。然后超级智能或许会发现，经过操控运用权利的人就能轻松取得更多权利。
咱们很难幻想比咱们聪明的存在以及咱们与它们互动的办法。但 Hinton 以为比咱们聪明的超级智能肯定能学会诈骗人类，究竟人类有那么多小说和政治文献可供学习。
一旦超级智能学会了诈骗人类，它就能让人类去进行它想要的行为。这和人骗人其实没有本质区别。Hinton 举例说，假设某人想要侵略华盛顿的某栋大楼，他其实无需亲自前去，他只需求诈骗人们，让他们信任侵略这栋大楼是为了解救民主。
「我觉得这十分可怕。」Hinton 的失望溢于言表，「现在，我看不到该怎样防止这种状况产生，但我现已老了。」他希望青年才俊们可以找到办法让超级智能协助人类生活得更好，而不是让人类落入它们的操控之中。
但他也表明咱们有一个优势，尽管是相当小的优势，即 AI 不是进化而来的，而是人类发明的。这样一来，AI 就不具备原始人类那样的竞争性和攻击性方针。或许咱们可以在发明 AI 的过程中为它们设定道德道德原则。
不过，假设是智能水平远超人类的超级智能，这样做也不见得有用。Hinton 说他从没见过更高智能水平的东西被远远更低智能水平的东西操控的事例。就假定说假设是青蛙发明了人类，但现在的青蛙和人类又是谁操控谁呢？
最终，Hinton 失望地放出了这次讲演的最终一页幻灯片：
这既标志着讲演的完毕，也是对全体人类的警示：超级智能或许导致人类文明的完结。
