人工智能（AI）是未来的技术。怎样才能管好AI、用好AI，不仅需要我这样的AI研究人员，还需要来自金融、经济等各领域的人士的集思广益。下面我谈一谈自己的看法——怎样把AI管起来，让它成为开创美好未来的工具？
在我最优秀的学生里，中国人占到很大的比例。所以每次来到美丽的中国，我都特别高兴。接下来我要介绍的工作进展，有部分就是由我的中国学生完成的。
刚才，我们听常启德先生介绍了联合国可持续发展目标。我同意他的看法。事实上，我们最近写了一篇论文，揭示了AI的巨大潜力，如果使用得当，势必有助于我们更快地实现这些目标——不仅是在金融领域，而是对全世界全人类而言。
现在：人工智能能做什么？
近几年，人工智能的发展可谓一日千里。我们看个机器人行走的视频，不久前还是这水平：
00:10
第二个机器人特别尬，因为是麻省理工的机器人……现在的机器人已经完全不同：
00:15
我们再试试Midjourney。2022年，我们向这个生成图像的AI输入了一个指令，得到图一：
图一
一年后，输入同样一个指令，得到的是图二：
图二
所以说，进步是肉眼可见的快。
再看一个有声音的：
00:08
“深度伪造”（deep fake），也到了真假难辨的地步。这真的不是汤姆·克鲁斯吗？当然不是。
有些研究人员认为，这些大型语言模型仍然非常愚蠢，缺乏对世界的深刻理解。虽然看上去花俏，但并没有超出统计学的范畴，他们把这些模型叫做“随机鹦鹉”（stochastic parrots），言下之意，它们只是在重复以前听过的东西。我们最近的一篇论文，证明这种看法是错误的。
这些大语言模型能够自主开发模型，并合成它们所学到的东西。以Llama2为例。这个AI从未受过图像训练，也没见过世界地图。但我们发现，仅仅通过阅读文本，它就在心里，准确地说，是第53层创制了一幅字面意义上的世界地图（图三）。它知道北京在这里，波士顿在那里，还知道你去过哪里。
图三
事实上，Llama2不仅建构了一个物理世界的模型，还建构了一个抽象概念的模型，比如是非对错。我们录入了很多句子，有些是对的，比如“北京在中国”，有些是错的，比如“芝加哥在马达加斯加”，然后观察它怎么处理这些信息。我们发现，在某一层，Llama2把它认为正确的信息放在左边，错误的则放在右边。所以，我们其实可以打造一个大语言模型的测谎仪，看看AI有没有撒谎，它告诉你的是不是正确的，以及你们交互的结果是否与它认为是正确的相同。
可见，这些模型已经变得很聪明，问题是：它们能走多远？我喜欢用抽象的任务景观来思考这个问题——海平面代表2018我年制作这个bot时人工智能执行任务的水平，高地则代表人类的水平（图四）。现在许多高地都沉到海平面下面了，可见这几年人工智能发展得有多快。
图四
末日：人工智能控制人类？
现在，人工智能已经胜任很多编程工作，它们开始证明数学定理，创作艺术作品，还能给我们当副驾驶。那么，问题来了：我们会有实现人工通用智能（AGI）的那一天吗？
到那天，大水将淹没所有的陆地，而人工智能可以像人类一样去完成人类所有的任务。到那天，人工智能自己就能开发人工智能，甚至比人类做得还要好——那以后人工智能发展的速度会比现在快得多，因为开发AI的是AI，而不是人类这种精力有限的肉体凡胎。AI的智能每个月、每星期，甚至每一天都会翻番，也许还会出现智能爆炸，到那时AI会比人类聪明得多，就像人类比毛毛虫和蜗牛聪明得多一样。
关于人工通用智能，争议一直很大，众说纷纭。不过，大家的观点一直在变。几年前，我的MIT同事罗德尼·布鲁克斯（Rodney Brooks）预测说，人类在未来三百年内是搞不出AGI的。AI研发人员比他乐观，但也认为我们距离AGI还有好几十年。多数同仁认为，我们三十年内是做不出像ChatGPT4这样聪明的AI的。但现在，我们已经做出来了。微软声称在ChatGPT4中看到了AGI的火花，也就是说，我们正在靠近人工通用智能。
在座的可能都听说过本吉奥（Yoshua Bengio），他是被引用次数最多的人工智能科学家，不出意外的话，很快就会成为史上被引用次数最多的科学家。按照他的观点， ChatGPT 已经通过“图灵测试”，能够很好地掌握语言和知识，足以让人误以为它是人类。
过去三年里，人们对AGI预测的变化是有那么大。生成式人工智能（Gen AI）和大语言模型的出现，“砰”地一下改变了人们的看法。显然，AGI不再只是一种长期的可能性。根据AI领军企业Anthropic的CEO达里奥·阿莫代（Dario Amodei）的判断，它两三年内就会出现。所以我们不应该再使用“长期”这个词，因为这让AGI听起来跟恐龙一样遥不可及。当然，未来存在各种可能性，抵达AGI也许真的需要很长时间。我们不妨多讨论讨论。
人工智能的教父阿兰·图灵（Alan Turing）曾在1951年就预言说：如果AGI出现了，那么很快，机器就会变得很聪明、超级聪明。它们会控制一切，换句话说，人类将失去对地球的控制。
这听上去可能挺奇怪的。所以，阿兰·图灵为什么要说这样的疯话呢？如果你只是把人工智能当成一门技术，就像是电力或者互联网，那就真的没什么好担心的。但图灵显然不这样认为。在他看来，人工智能不是一门技术，而是一个新的物种，一个在各方面都碾压我们的数字代理和机器人物种。它们取得控制权是自然而然的事。
不只图灵这样认为。OpenAI首席执行官山姆·奥特曼（Sam Altman）设想过一种极端场景，就是我们所有人都会被淘汰。“极端”可能只是一种礼貌的说法，达里奥·阿莫代认为概率在10% 到 25%之间。事实上，中国和西方顶级的AI研究人员最近都警告说，人工智能可能导致人类灭绝。虽然只是“可能”，不“一定”会发生，但我们必须认真对待这一风险，并努力化解它。
未来：可证明安全的人工智能
接下来，我想谈谈怎么把AI管起来，在一切变得不可控之前。毕竟，是我们人类在创造AI，我们还不至于束手无策——所以让我们一起确保人工智能为我们所用，管好它，用它创造美好的未来。
我们应该怎么做呢？我认为，我们首先要有远见，想得远，才能做得大。本吉奥、我和其他一些研究人员正在拟订一项倡议，我们管它叫“定量人工智能倡议”。前几周，我们写了一篇论文专门解释这一“安全人工智能”的愿景。
其基本逻辑是：当技术很薄弱时，我们不用太担心安全问题——如果出了问题，我们可以想办法解决；技术越强大，容错率就越低，我们就越是要在安全性上下功夫。
比如说有人想在中国推出新型飞机，要做到怎样才算安全达标呢？“我们感觉良好。我们试飞了一个小时，没掉下来，所以是安全的”——这显然是不够的，要做的远远不止于此。我们得进行定量计算，比如估算飞机在某一年发生故障的概率，如此这般，直到我们能够证明它足够安全，利大于弊。对于人工智能的安全性，我们同样需要进行事先的定量计算。我相信我们可以做到。
以其底层技术的革新为标志，人工智能经历了许多不同的发展时期。从计算上看，我们经历了打孔卡时期，然后是磁带、晶体管、集成电路等等，到现在的微芯片时期。硬件方面，GPU的迭代速度极快；软件方面，各种算法也是日新月异。
而我们这个时期的标志，我认为是“Transformer”模型，它是所有大语言模型的基础。许多年后，人们也许会把它称作“2024年的真空管”。真空管现在看起来很古老了，但却是开启计算机时代的第一项技术。Transformer也一样，我相信，它是开启大语言模型时代的第一项技术，但不是最后一项，也不是最好的，更不是最安全可靠的。
我们最近有篇关于KANs架构的论文。和传统神经网络架构MLP不同,KANs将权重（weight）从节点移到边缘，能以更少的参数获得更高的精度，性能大大优于MLP。我只是举个例子说明我们今天的技术并不是最好或最终的，一切都在革新。所以什么才配得上“明日技术”这几个字呢？我认为它不仅要比今天的AI更强，还要更好懂、更安全、更容易管理。
现在对人工智能的管理大多还停留在“破解”的阶段上，也就是“发现bug，解决bug”的思路，在测试中诱导大语言模型说些“坏话”什么的，然后修复导致出错的漏洞。但就像我在前面提到过的，这种方式只适用于低技术阶段，因为它充其量只能证明问题存在，而永远无法证明问题不存在。如果你想证明问题不存在，证明强大的人工智能很安全，那么你可能需要另外一种防护栏。而我们所能拥有的最强大防护栏，不是别的，正是数学证明。
举个例子。假设你研究数学，喜欢数学，有人告诉你“任何两个立方数相加，不会等于第三个立方数”——他说得对吗？你试着用3³加4³，嗯，它们的和不是立方数……你试了10次，没发现反例，于是下结论“他说得对”。不，这不是数学证明，无法证明“他说得对”，而只证明了你没发现反例。
当然，这个说法是对的，因为有人证明了：在无穷的整数里，没有一个立方数是另外两个立方数之和，这就是“费马最后定理”。
在人工智能和计算机科学领域，形式验证（formal verification）同样是个大课题，也就是对软件进行严格的数学证明，证明它在任何输入情况下都能按指令行事。可证明安全的人工智能——这是很高的安全标准。
目前相关领域的进展比较慢，因为工作量太大，而且多半得靠人来完成。不过，我很乐观，用不了多久大语言模型和AI就能解决这个问题。人工智能已经彻底改变了艺术创作和语言处理，通过编写代码，它也将彻底改变程序综合（program synthesis）。这样一来，形式验证的许多工作就可以由AI自动完成，我们证明代码安全性的能力也会随之突破。
以下是我对可证明安全的人工智能的设想。举个例子，假设你经营着一家大型金融企业，你要用AI工具来做一些高风险交易。你肯定不想出错，因为这会让客户血本无归。于是，你把这个AI需要遵守的规范都写下来，交给一个强大的人工智能系统，让它帮你编写所需的工具，并出具相关安全证明。这些证明能够通过证明检查器的自动检验，表明所生成的代码满足安全规范。
你可能会说：“我怎么能相信这个工具呢？我压根不知道人工智能是怎样工作的。这个工具的代码行数太多，我读不过来，而且证明太长，我也读不过来”。没关系，你不需要懂人工智能，也不用看它编写的工具或证明代码，你只要知道证明检查器是怎么回事就行了——其实就是一个只有 300 行左右代码的软件，它能严格检查和验证证明是否有效。
证明检查器可以安装在你的笔记本电脑上，飞快地运行。只要安全证明通过验证，你就可以放心使用你的AI工具了，这个复杂、强大的财务软件系统会完全遵照你的要求工作——不是多数时候，而是一直永远，因为这套软件经过严格的数学证明，没有bug，没有安全漏洞，只要宇宙不崩坏，它就是可靠的。
如果出于某种原因，你的人工智能系统写的工具软件不够好，那你还有另外一个办法：让传统的人工智能系统、大语言模型之类的去学习算法。比如，我们现在用 Python或者 C++ 写的翻译软件都远远不如Transformer写的好用。所以你得让机器去学习，然后再用一个类似于神经科学家的AI软件去捕捉学习到的算法和数据，并转化为 Python或者 C++ 代码，最后进行形式验证。这就是所谓的”机械可解释性”（mechanistic interpretability）。这是人工智能的一个小众领域，去年我在MIT组织了这个领域的最大型会议，但其实也没几个人参加。不过，这方面的技术发展得很快，在座感兴趣的都可以加入进来。
举个非常简单的例子。我们小时候学加法，有时老师会让我们用竖式做循环进位加法，从个位起传递进位。现在我们让神经网络系统去学加法，给它一堆数据，当然是用二进制来做。不一会儿，它的准确率就达到了100%。这时，我们知道这个神经网络里已经有了一个数字相加的算法。接下来的问题是，在这个训练出来的黑盒模型里，怎样把这个算法“取出来”？我们用另外一个AI工具到神经网络里去找，再把找到的算法转化成我们需要的Python版本。 这里可以看到这个Python程序也有循环，就像我们小时候学的多位数加法，从低到高计算和进位。显然这段生成的Python程序，比原始训练出的神经网络，效率好得多。然后我们对这段Python代码进行形式验证，证明它能正确地将任何数字相加——不仅是训练数据中的数字，而是任意数字、任意多数字，我们可以信任它。
当然，我这里讨论的是一个非常宏大的目标——可证明安全的人工智能或定量安全的人工智能。要实现全部目标，我们有漫长的路要走。重要的是记住，我们的征程会很精彩，即便只是在初始阶段。比如你能取得形式证明，证明任何人不经过认证都没法登录你的笔记本电脑，不香吗？这样你永远都不用担心被黑了。
还有，不管多么强大的AI，只要你想，就可以随时关闭它，或者可以让它只运行一定的时间；如果它只能在上海的某个数据中心使用，那么当你或其他人把它带到其他地方，它就会停止工作。那不是很爽吗？
这些我们都能做到。我对此感到兴奋，也渴望合作。
结语
最后，总结一下。我今天主要谈了技术——人工智能的技术变得越来越强大，但我们也有很多安全技术可以把它管好，确保AI为我们工作，而不是与我们作对。
前面的发言者谈到了国家政策和良好治理的重要性。我想强调的是，如何引导管好人工智能，是一个全球性的挑战，因为未来非常强大的人工智能所带来的风险当然是全人类共同面临的。无论如何，技术都不会止步于国界，因此它所带来的挑战也不是任何国家可以独力应对的。
如果我们做对了，世界会因人工智能而更美好；但如果我们搞砸了，整个世界都会一团糟。在政策方面，我认为我们应该做的和不应该做的都是显而易见的。
无为而治是不可能的。你不能说：“行吧，每个人都有权利用AI尽可能快地制造出他们想要的东西。只要在超级智能出现前，有人能及时找到控制这些东西的办法就行了。”
我们必须像对待其他强大技术那样去对待人工智能，简单说，我们需要安全验证机制。比如在中国，如果有人想推出一种很好的新药，那么他首先要获得国家药品管理部门的批准，而不是直接在淘宝上卖。有了这样的药品安全机制，医药公司在研发新药的同时，也会把足够的资源投入临床检测，以证明新产品足够安全，给患者带来的好处大于副作用。再比如，如果你想兜售一款新型飞机，那么你肯定得先把定量风险分析做好，否则民航局是不会放行的。
对于人工智能，我们也应该采取同样的做法。首先我们要有统一明确的安全标准，对于相对初级和无害的AI，比如今天多数的大语言模型，安全标准可以很低，但对于功能逐渐强大、可能造成更大损害甚至失控的AI系统，我们的安全标准也要逐级提高。
标准确立之后，市场会完成剩下的工作。谁先达到安全标准，谁就先占领AI市场，富可敌国。这样一来，AI公司就不仅有动力制造更聪明的机器，还会尽可能快地确保它们达到安全标准。