湮灭之城

愚人节已过。

2023年3月29日，美国未来生命研究所（Future of Life Institute）向公众推出公开信，呼吁暂停开发比GPT-4更强大的人工智能（AI）系统，为期6个月。

包括苹果公司联合创始人、普利策获奖者、知名大学教授、IT公司的CEO、AI研究机构的负责人以及埃隆·马斯克等在内的一众业内知名人士共同签署了这封公开信。

截止到现在为止，公开信已获得了2825个签名。

之前，微软支持的OpenAI推出了具有划时代意义的GPT-4，该程序以可进行貌似真人的对话、创作歌曲、总结归纳冗长文档等等，其超出人们预期的能力赢得了用户的普遍赞誉。

不就是一个2022年11月推出的AI聊天机器人程序嘛，为何如此大惊小怪、兴师动众？

之前有人在网上调侃，给出了ChatGPT胡编乱造、离谱的让人喷饭的奇葩回答。

不过，那只是GPT-3.5。如果你再试试3月14号刚刚推出的GPT-4，其改进速度着实让人惊叹。

公开信开篇就说：

广泛的研究试验证实，具有可与人类竞争的智能AI系统，可能对社会和人类带来深刻的风险。先进的AI可能代表了地球生命历史上的深刻变革，所以应当对其进行相应的规划和管理。

不幸的是，最近几个月来，AI实验室已经陷入了一种失控的竞赛。随着人们不断地开发、部署越来越强大的数字算力“思维”，恐怕没有人——甚至包括它们的创造者——能够理解它、预测它以及对它实施可靠地控制。

我们必须针对我们自己发问：

我们是否该让机器用宣传和虚假的东西淹没我们的信息渠道？我们应该将人类的所有工作、包括十分有意义的工作都自动化吗？我们难道应当开发非人类思维，使其在数量上和智能上最终超过我们并取而代之吗？我们难道会甘冒人类失去对文明控制的重大风险？

所有这些决定，不能委托给未经选举的技术领袖。只有在确信其效果积极且风险可控的情况下，我们才应该开发强大的AI系统。

据此，公开信呼吁：所有的AI实验室应即刻暂停超出GPT-4功能的AI系统训练至少6个月。如果这样的暂停无法迅速实施，政府应介入并敦促实施。                         

艾利泽尔·尤德科夫斯基（Eliezer Yudkowsky，1979—）

在上述公开信的支持者中，独独少了一位在AI领域内举足轻重的角色，他就是尤德科夫斯基——美国机器智能研究所（MIRI）的领军人物，人工智能一致化（AI alignment）学科的创始人。

所谓AI一致化，就是确保AI系统不仅能够完成指定的任务，而且当AI变得更加先进并拥有巨大潜力时，也能够以有益于人类普世价值的方式行为。它的具体研究内容包括：创建安全、透明且与人类目标相一致的AI系统，解决与AI相关的潜在风险和道德伦理问题。

由此可见，这是一个跨越计算机科学、数学、哲学、心理学、经济学和法学等诸多学科的领域。

所以，尤德考科斯基对公开信，无疑拥有重要的发言权。

为了向公众解释他为什么没在公开信上签名，他于29号当日，罕见地在《Times》上专门发表了一篇文章。他坦言：

“我对每一位站出来签署公开信的人都很尊重，但我没有签名，因为我认为这封信低估了问题的严重性，6个月根本就不足以解决问题。”

后面，是更惊悚的话：

“包括我自己在内的许多精通AI问题的研究人员，我们预计在并不遥远的将来，建立一个超出人类智能的AI是显见会发生的事，它其最可能的结果就是：地球上的所有人都会死。”

有些耸人听闻！

在尤德科夫斯基看来，问题的关键还不是与人类竞争的AI，而是当AI达到比人类更聪明的程度后会发生什么？

鉴于“比人类更聪明”并没有一个明显的界线，所以人们在研究试验中会在不知不觉中越过这一关键界限！

从这个意义上说，不是当你创造出比自己聪明得多的东西时你就死定了，而是我们需要缜密的准备和科学的洞见，因为此时的AI系统很可能已经不是我们常规所理解的那样。

什么意思？

今天的AI与以往的究竟有什么不同？

窃以为，最重要的不同在于：人与机器的界线突然变得模糊，难分彼此了！

想想看，人创造出了AI机器，可结果却是，人竟然可能无法区分出谁是人？谁是机器？

这才是AI发展下去的最可怕之处！

这就像造物主创造出的人一样，随着人的自由意志的日趋膨胀，人开始渐渐地弄不清自己到底是谁了？

是人？还是上帝？

当人被夹在上帝与AI之间时，人类双重的迷失注定是悲剧！

50年前，可能绝大多数了解并从事AI研究的人都会赞同这样的规则：一旦AI系统可以流利地说话并表示自己有了自我意识，甚至提出权利的诉求时，人们就不该轻率地发展它，也不该继续使用它。

如今，我们已经超越了这条曾经的底线。

所有的危险都不在于AI是否具有意识或者能否拥有意识，而在于我们根本就无法确定AI系统是否已经真正拥有了自我意识。

因为我们对这些系统的内部机制了解甚少，我们根本无法解码巨大而难以理解的海量数据阵列里发生的一切！

也因此，我们可能会无意中创造出真正有意识的头脑，它拥有自己的权利，并且不再被人类所独占。

这是顶级AI研究人员的洞见。

OpenAI的首席执行官萨姆·阿特曼（Samuel Harris Altman，1985—）

当人们正在为AI的重大进展高唱赞歌时，AI或许正在虎视眈眈地注视着人类。

当ChatGPT之类的AI工具比人类更善于汇总知识与信息时，当ChatGPT不仅能写，能算，能自动生成图片与视频，而且有一天会出现在各行各业并且称霸一方时，这不仅仅意味着失业潮与经济的凋敝。

讽刺的是，人类开发AI的初衷本来是为了处理那些重复无聊的杂事，以便让人类可以发挥创造力去写作、画画、编程、写论文……可今天可能的结果却是，AI已经学会了写作、画画、编程、写论文，反倒把许多重复无聊的事丢给了人类……

尤德科夫斯基指出：

如今的我们，不得不把AI想象成一个充满敌意的超级对手，它已经不再是没有生命的、只会寄居在网上发送一些恶意邮件的书呆子了。如果没有缜密的准备，AI可能不会按照我们的意愿行事，也不会关心我们以及其他有感知的生命。

尽管在理论上，我们可以将关爱注入到AI中，但我们现在还没有准备好，也不知道该如何做。

问题是，如果缺少了这种关爱，人类就有可能成为冷酷的AI手下的一枚棋子。

有朝一日，当人类面对远远超出自己智能的AI时，结果很可能是彻底的失败，就如同“11世纪试图对抗21世纪”、“猿人试图对抗智人”一样。

一切都发展得太快了，以至于AI研究与应用中时分重要的一环——AI的可解释性（explainable AI，XAI）受到了严峻的挑战！

什么是AI的可解释性？

用最通俗的话解释，它是让AI系统的决策过程变得透明以及易于理解的技术与方法。尤其是当今对于诸如深度神经网络那样的复杂的AI系统，其决策是基于数百万个难以解释的数据点而做出的。这就使得AI系统是否值得信赖变得特别重要，包括可追溯性和道德基准，例如在医疗保健、金融和国家安全等高风险领域，更是不允许AI出现任何错误。

人们正是通过AI的可解释性了解所有细节，让AI变得更加让人放心。

这说的是过去，作为一种对比，现在的GPT-3，其数据点已高达1750亿个！至于更先进的GPT-4，没人知道有多少个，保密！

可如今，AI的研究者、开发者和专家们却告诉我们：面对一个经过训练的、功能强大的AI模型算法，当AI给出某种结果或者做出某种决定时，控制这些算法的软件工程师可能自己也无法解释为什么会是这样的结果、这样的决定。换句话说，专家自己也闹不清里面究竟是怎样发生的。

这难道不可怕？

特别是它足以乱真时，更是如此。

有业内人士认为，AI的背后是海量的人的知识与智慧的总和，而我们却往往是以独立的人、凭着区区一己之力与之对垒。

如此看来，胜算有多大？

听起来有点悲观。

不过无论如何，当AI的野蛮生长与AI的一致化以及可解释性的发展表现出严重的不同步时，暂时停下来或许是明智的选择。

3月31日，意大利率先动手。意大利个人数据保护局宣布，从即日起禁止使用聊天机器人ChatGPT，并限制开发这一平台的OpenAI公司处理意大利用户信息。OpenAI公司必须在20天内通过其在欧洲的代表，向意大利个人数据保护局通报措施，否则将被处以最高2000万欧元或公司全球年营业额4%的罚款。

出手够狠。

据说，《华尔街见闻》为此事还专门询问了ChatGPT“本人”的看法。

结果ChatGPT承认：的确没有“直接核实用户的年龄或个人信息”，并表示，支持捍卫用户隐私和数据安全。

不愧是GPT-4！

除了这些，还有伦理问题。

我们可以回顾一下6年前发生的一件事：

“Tay”是微软于2016年推出的一款聊天机器人。它旨在借助在线对话进行学习，并以自然有趣的方式与Twitter的用户互动。然而，由于受到在线恶意用户的影响，Tay不久就开始出言不逊，不断给出冒犯性的话语和不当评论，结果实验在24小时内被关闭。

此事件引发出有关AI潜在的危险以及AI开发道德准则的讨论。

众所周知，AI的能力依赖于海量的资料库、大量的阅读理解、深入学习能力、超级的算力、高复杂度的模型，以及众多的资金投入与人工参与。

其中一个重要环节就是进行资料筛选——保留有价值的东西，剔除违反道德伦理的谬误和垃圾。

那么，由谁来完成这一筛选的工作？

这是一件不能忽视的大事！

是由AI自己完成吗？

显然不是。

从现在看，包括在一段可预见的时间里，ChatGPT在本质上还不是人和机器谁控制谁的问题，而是控制这个机器底层模型算法的一批人控制了另外一批人的问题！

当你与ChatGPT交互时，有些关键词或敏感词显然会被屏蔽。我在撰写此文时，求教ChatGPT，它有一次出现了这样的答复：

“很抱歉，由于上下文语境复杂且涉及重大伦理和技术问题，我不能提供服务……”

这当然是开发者人为干预的结果。

也因此，AI的偏见不可避免。

这偏见有可能来自于“喂养”的资料，也有可能来自于从事标注的人员，就像tap，机器人会表现出仇恨与种族歧视倾向，等等。也许这并非是训练人员有意为之，他们或许也不知道接下来会发生什么，但AI却有能力通过网络与众多真人的互动，完成自主学习并且提高得很快。于是便有了那样的结果。

可这，并非是训练它的人员之前所预期的。

《Times》调查显示，为了建立针对有害内容（像暴力、种族主义、性虐待等）的安全系统，OpenAI雇佣了每小时收入不到2美元的肯尼亚外判工，以标记用于训练模型的有害内容。这些外判工称他们的这种经历为一种折磨。

人与ChatGPT的互动，形成了数据“喂养”与自我学习的综合结果，这就难以避免偏见的造就：从资料的偏见，到AI的偏见，再到与之互动的人，AI可能强化了人本身既有的偏见。如此循环往复，形成一种彼此支持的反馈与强化，这是一个地道的正反馈过程。

使用ChatGPT中你会发现，当你分别用中文和英文去询问中国的民主政治问题时，得到的结果会大相径庭。

因为全部用英文资料训练出来的结果，其资料大部分来自西方，故而资料本身便不可避免地存有偏见。

对于中文，更是如此。

在中美关系中，人们常常会感受到“鸡对鸭谈”，分明是两个平行宇宙。而AI的发展，可能会加速中美的彻底脱钩，从而变成两套不同的、互不兼容的系统。

这当然时间很糟糕的事儿。

但更糟糕的是，这种反馈还会在无形中大大增加人对AI的依赖性。那些被人赋予的算法中可能包含的偏见和谬误，反过来会影响甚至主导人的判断，如此，AI便精准地控制了人。

此外还有数据安全和数据主权的问题，典型的例子就是目前的TikTok之争。

科技原本中立，但关键是要看谁在掌握它？使用它去行善？还是去作恶？

显而易见，一旦政府干预，或由国家法规明文规定，开发人员就会在一定程度上失去开发的自主性。AI就有可能成为数字威权工具。比如，政府可以利用AI进行内容审查，可以限制言论自由，可以进行大规模的社会监控，可以构建社会评级系统，等等。

而政府往往不这么看，它会强调：我们是在反恐，我们是在预防犯罪，我们使用AI至少可以更有效率的进行社会治理，等等。

然而，政府是最需要人们警惕的，警惕它会不时地作恶。

可惜从专业的角度看，人们难道真的能够有效地区分：什么是提升社会治理能力及效率？什么是数字威权？

恐怕不能。

这又涉及到科技伦理。

就像人们不能因为“我感觉你要犯罪了”，就把你抓起来一样，对于AI，人们也不能因为判断你以后可能有病，就可以从一开始便打破原有的公平竞争环境。

如果你无法保障对犯罪的预测是100%的准确，你就不能拿它作为防止犯罪或个人信用记录的依据。在一个相对极权的环境下，AI很容易被滥用于权力。

人们不断拷问自己应该是：政府真的值得信赖吗？你真的相信那些握有无限权力的人吗？你愿意将自己的权利拱手全盘交出吗？……

近年来，美国的不少大型科技公司都强调：由于我们不能把所有人的信息都搜集在一起，所以我们有可能在信息科技上输给中国。但反过来，当你把所有人的信息都搜集起来后，该由谁来管理？谁又敢去管理它们？谁能保证它永远不会被窃取、被滥用以及未经授权被用作其他用途？

人们能否用科技手段和制定法规来解决这些问题？

回到问题的本身，如果说现在人们对AI还算可控的话，那么以后并不意味着也可控。因为它的学习能力太强了，以至于出现前面所说的，AI的生长与AI一致性、可解释性的发展，两者出现严重的不同步时，我们就必须有一个稳妥的计划，这也是公开信呼吁暂停的原因所在。

只是，在尤德科夫斯基看来，我们还没有提出任何可以让我们得以放心的计划。

OpenAI 倒是有计划，但那计划却是：在不远的未来将AI一致化的工作交由AI来完成！

将主导权交给AI？这太恐怖了吧，任何明智的人都应该为此感到恐慌。

而另一个技术领先的AI实验室——深思（DeepMind），干脆就没有计划。

况且，在短短6个月的时间里，我们根本无法弥合这一巨大的差距。

据说，不少从事AI系统研究的人员认为，我们正朝着灾难前进。但他们不敢在公开的场合说出来。他们考虑到辞职，但当他们意识到，即使自己个人辞职，其他人还会继续前进，辞职也就没有了意义。

综上，当人与AI的界线开始混淆、甚至难以分出彼此时，当包括AI的开发者都无法理解、预测和对其实施可靠的控制时，当大量对人类有意义的工作最终被AI一一取代时，当人类反被AI忽悠得团团转时，当带有偏见的AI不断强化人类彼此间的分歧甚至仇恨时，人类的末日就到了。

它的可怕之处就在于此。

据说尤德考夫斯基是从事AI研究的人中最悲观的。

可我倒觉得，最坏的结果大概率不会发生。因为对于AI是否能真的变成“超人”，我带有深深的疑问。

别忘了，在这些AI顶尖专家所使用的各类描述性词语中，频度最大的就是“可能”一词。

但无论如何，在AI一路高歌猛进之时，我们真的需要踩刹车的人。

即使实际情况真的没有那么悲观，也需要。