【翻译/观察者网马力】在3年前召开的一场关于跨大西洋问题的国际会议上，我发现会议日程里安排了一个以“人工智能”为主题的环节。由于人工智能并不在我通常关注的领域之内，我本想跳过那一场讨论，但主讲人开场的几句话却把我留在了位子上。

美国前国务卿、外交家、国际问题专家亨利·基辛格在2018年6月号美国《大西洋月刊》杂志刊发评论文章：《启蒙如何终结》。他认为，“无论从哲学层面来说，还是从人类智力层面来说，乃至从每一个层面上来说，人类社会还没有为人工智能技术的崛起做好准备”。

主讲人向听众宣告，一个计算机程序很快就将向围棋界的国际冠军发起挑战，随后他介绍了那个计算机程序的运行方式。电脑竟然能够掌握比国际象棋更加复杂的中国围棋的对弈规则？这令我十分吃惊。在中国围棋的比赛中，每一位棋手手执180枚或181枚棋子（这取决于两位棋手选择黑白何种颜色的棋子，黑子181枚，白子180枚），比赛开始时棋盘是空的，随后两位棋手轮流在棋盘上落子。判定围棋取胜的标准是，看哪位棋手能通过更加高明的策略更有效地占据棋盘上的空位，从而最终困死对手。

主讲人表示，计算机程序并非在编制过程中就获得了高超的对弈能力，这种能力是在实践过程中通过自我训练逐渐习得的。在围棋规则的框架下，计算机程序已经与自己对弈了无数局，它从错误中吸取了教训并借此完善了算法。经过这一过程之后，计算机程序的围棋水平已经远远超过了为其编程的工程师。就在演讲结束几个月之后，一个名为“阿尔法狗”（AlphaGo）的人工智能计算机程序毫无困难地战胜了世界上最顶尖的围棋选手。

当我听到主讲人为这一技术进步喝彩时，作为一名历史学家和客串政治家，我的思路不再跟随他的话语，而是停在了那里。那些能够自主学习的机器能够通过独特的方式获得知识，并且能够将获得的知识应用在可能超出人类理解的领域，这会对人类历史产生怎样的影响呢？这些机器之间能够互相交流吗？在从未遇到过的行为选项面前，这些机器又会如何作出判断呢？面对西班牙文化，印加人（南美洲安第斯山区克丘亚族的一支，讲克丘亚语，他们的“王”被称为“印加”；1532年，最后一任印加帝国国王被西班牙侵略者处以死刑，随后印加帝国沦为了西班牙的殖民地——观察者网注）曾是感到迷惑甚至心怀畏惧的；如今面对人工智能的崛起，人类会步印加人的后尘吗？人类是否正处于一个新的历史阶段的起点呢？

由于我自身缺乏在人工智能领域的专业能力，在几位分别来自相关技术行业和人文领域的朋友的建议和配合下，我组织了几场关于人工智能技术的非正式对话会。经过对话会上的讨论之后，我对这个问题的忧虑反而加深了。

迄今为止，改变现代历史发展轨迹程度最深的技术进步莫过于15世纪印刷机的发明，它使仪式性的教条被对经验知识的探索所取代，它使宗教时代落幕，使理性时代得以开启。人类对自然的理解和科学体系的建立取代了宗教信仰，它们成为判定人类意识觉醒的重要标准。人们将信息存储起来，而且信息在规模日益扩大的图书馆中得以系统化。塑造当代世界秩序的思想和行为正是发端自理性时代。

不过在当下这场全新的、甚至更加彻底的技术革命中，当代世界秩序正面临一场颠覆性的变革。我们很难充分判断这场变革的影响，这场变革甚至可能到达一个高潮，届时我们的世界将严重依赖由数据和算法驱动的人工智能机器人，而道德伦理和哲学规范将完全受到那些机器人的无视。

我们身处其中的互联网时代已经给人类带来了一些麻烦，而人工智能时代的到来很可能会使情况变得更加复杂。当年启蒙运动（the Enlightenment）所寻求的是将传统真理（traditional verities）置于已被解放的、具有分析能力的人类理性面前接受检验。而如今互联网则是通过对不断增加的数据的积累和处理来定义知识。在互联网时代，人类的认知能力失去了人的个性特征，一切都以数据形式存在，数据成了这个时代的统治者。

相较于在具体语境中思考信息的意义或将信息赋予明确的概念，互联网用户更看重信息的检索和处理。他们很少在互联网上就历史或哲学问题检索信息，一般来说，互联网用户的信息检索行为与他们当下的实际需求直接相关。在这一过程中，搜索引擎获得了互联网用户信息检索偏好的有关信息，这使其算法能够对搜索结果进行个性化处理，而搜索引擎甚至可能将用户的信息检索偏好提供给第三方，以用于政治或商业目的。真相变得不再绝对，在海量信息面前，智慧的作用恐怕也要弱化。

互联网用户们变得不再擅长独立思考，他们开始被社交媒体上的各种观点所左右。事实上，许多网民使用互联网的目的仅在于通过上网来冲淡他们内心十分恐惧的孤独感。上述因素削弱了人们形成并维护自身信念的刚毅品质，只有孤独的行者才能一直坚持内心的信念，而创造力的本质正在于这种对自身信念孤独的坚持。

此外，互联网对政治的冲击尤为明显。互联网能够使社会上很多亚群体获得更多曝光度，他们的特殊诉求或苦衷能够通过网络获得更多人的了解，这打破了人们以往对何为政治优先事项的认识。但政治家们也由于受到这些散乱压力的影响，无暇思考问题产生的背景，这挤压了政治家们对未来进行长远规划的空间。

互联网时代的快速阅读不利于人们进行深度思考；互联网对夺人眼球的信息的影响力进行了放大，而那些经过缜密思考写就的文章却在网络上难以获得大面积传播；互联网时代的价值观受到亚群体观点的严重影响，而在这一过程中人们十分缺乏深入的思考。尽管互联网的出现为人类社会做出了巨大贡献，但由于其影响利弊相抵，它未来恐怕会将枪口对准自己也未可知。

互联网的出现和计算能力的提高为海量数据的积累和分析提供了极大便利，人类的理解能力因此获得了前所未有的提升。在这一过程中，意义最为重大的技术创新出现在人工智能领域。人工智能技术能够通过类似人脑才具有的信息处理能力进行创新性思维并解决复杂的、看似抽象的问题。

这已经远远超出了我们对“自动化”的理解。所谓“自动化”仅是针对手段而言，自动化技术通过对生产工具进行机械化或合理化改进来实现确定的生产目标。与自动化技术大为不同，人工智能技术是针对结果而言的，人工智能可以自行确定自身行为的目标。由于在某种程度上来说人工智能所实现的目标部分取决于其自身，所以人工智能具有一种内在的不稳定性。人工智能系统在实际运行过程中不断获取新的数据并即时对这些新数据进行分析，在分析结果的基础上，人工智能系统可以不断对自己的算法进行优化。

所以说，人工智能系统是一个不断变化的、处于动态中的系统。在这一动态过程中，人工智能系统表现出了一种此前被认为仅有人类才会具有的信息处理能力。它可以对未来做出战略判断，有些判断是基于以代码形式事先注入的数据（围棋规则），有些判断则是基于人工智能系统自身所收集到的数据（与自己进行100万次对弈过程中出现的各种情况）。

以无人驾驶汽车为例，它体现了传统上以软件驱动、完全受到人类控制的车载计算机行为与渗透进驾驶过程每一个细节的人工智能行为这两者之间的区别。人类驾驶汽车时需要面对数不清的各种情况，并需要在每一具体情况下做出特定的判断，我们根本不可能预先想到所有的情况并事先为每一种可能的情况编写程序。我们以一个十分有名的假设为例来进行说明：当一辆由人工智能控制的无人驾驶汽车不得不在一位老人和一个小孩之间做出选择必须撞向其中一人时，它会如何选择呢？其背后的原因何在？它在做出选择时会更看重哪些因素？它能够自圆其说吗？如果人工智能程序能够与人类交流的话，它很可能会这样回答上述问题：“我不知道，我驾驶汽车时遵循的是数学原理，我不懂人类的那套规则”，它也可能这样回答：“你搞不懂我的，我曾受到大量训练来应对各种驾驶情况，但我从未受到训练向人类解释为何我会那样应对那些情况”。这就是人工智能无人驾驶技术当下的现实，不过不出10年，无人驾驶汽车很可能将行驶在我们的每一条街道上。

截至目前，人工智能技术仅在有限几个领域里获得了应用。如今，人工智能科学家们正试图将这一技术的应用领域扩大到社会生活的各个方面，未来的人工智能将可以执行多种任务。在不远的未来，将有越来越多的人类工作被人工智能算法所取代。不过，这些算法只能对所观察到的现象进行数学性理解，算法并不能理解现象背后的原因。令人感到矛盾的是，随着我们的世界越来越透明，人工智能算法却会变得越来越神秘。未来的新世界与我们早已习惯的今日世界会有哪些不同呢？我们将如何在那个新世界里生活呢？我们该如何管理人工智能？该如何改进它？该如何避免它对人类造成伤害？该如何避免比人类更快、更好掌握某些能力的人工智能（对它来说欲获得那些能力仅需处理一些数据）使人类的能力趋于退化或使人类的境况趋于恶化？

人工智能迟早将为医学科学、清洁能源和环境保护等领域带来极大的进步。不过，正因为人工智能所面对的未来正处于不断演进之中，它为我们带来的结果就内在地具有某种模糊性和不确定性。在这方面，有如下四点值得我们注意：

首先，人工智能可能为我们带来意想不到的后果。在科幻小说的情节中，人工智能机器人已经将其创造者列为攻击目标了。不过，另一种情况的可能性更大，由于人工智能并不是在一个完整的语境中理解信息的，它很可能无法正确理解人类的指令。最近一个有名的例子来自一个名为Tay的通过自然语言同人进行交流的人机智能对话系统，科学家的设计初衷是希望Tay能够以一个19岁女孩的身份和语言特征与人们进行友善、理性的交谈。不过，结果证明，这个智能对话系统并不能真正理解“友善”和“理性”的含义，Tay所使用的语言反而体现出种族主义者和性别歧视者的一些特征，有时候“她”讲的话甚至能将人激怒。

一些专业技术人员认为，人机智能对话系统Tay的设计思路不够合理，具体研发过程也出现了很多问题。不过，我们仍然能够借此就其背后的模糊之处提出一些疑问：我们能在多大程度上使人工智能系统理解人类指令的具体语境？当人类也未能就“冒犯”一词的准确含义达成共识的时候，我们能通过什么办法帮助Tay获得“冒犯”一词的准确概念？当人工智能系统的运行偏离其设计者的意图时，我们能早期发现并进行修正吗？如果我们对人工智能系统不施加任何干预，它会不会不可避免地在初期略微偏离设计意图甚至久而久之沿着偏离的轨道滑向灾难性的深渊？

第二点，在实现既定目标的过程中，人工智能可能会改变人类的思维方式和价值观。阿尔法狗在击败围棋世界冠军时所采用的策略是前所未见的，人类从未想到过围棋会有那种走法而且至今也未能想出针对那种走法的应对之策。阿尔法狗所采用的围棋走法是否已经超出了人类大脑的理解能力？人类是否能够学会那种走法呢？

在人工智能涉足围棋领域之前，人类在进行围棋对弈时往往抱着各不相同的甚至是多层面的目的：棋手们所追求的不仅是赢得棋盘上的胜利，他们还希望通过对弈过程领悟出可以在生活中其他领域获得应用的策略和智慧。而对于人工智能来说，它在棋盘上的目的只有一个：战胜对手。

人工智能不是像人类那样通过对概念的理解而是通过数学运算来进行“学习”的，具体表现在对算法的微调。所以，在学习如何赢得围棋比赛的过程中，人工智能与人类的思维方式是完全不同的，它已经改变了围棋对弈的本质以及人类围棋对弈的传统思维范式。这样一种对胜利毫无杂念的渴望是否是所有人工智能程序的共同特征呢？

已经有人工智能项目希望通过研发能够回答人类各种问题的设备来改变人类的思想。这种设备能够回答一些事实性的诸如“现在外面气温如何”这样的问题，但在回答关于存在本质或人生意义这样的问题时，你会发现它可能给人类带来一些深层的忧虑：我们真得愿意自己的孩子在与不受束缚的人工智能算法进行交谈时形成自己的价值观吗？为了保护提问者的隐私，我们是否应该限制人工智能算法对提问者的了解呢？在得出上述两个问题的答案之后，我们又该如何确保人工智能遵从我们的意愿呢？

如果人工智能的学习速度是人类的指数倍，那么我们应该想到，它同样能以指数倍的速度进行试错，而人类的决策通常就是通过试错才做出的。也就是说，人工智能犯错的速度要快于人类，其犯错的严重性也是人类无法相比的。人工智能科学家们通常认为，在人工智能程序中注入“道德”或“理性”的指令也无济于事，它们并不会使人工智能算法所犯的错误有丝毫减轻。实际上，人类所有的学科都是在人们没有就各学科的重要概念（诸如“道德”、“理性”这样的概念）达成共识的前提下发展起来的。如此说来，人工智能是否会成为超越所有这些具体学科理论体系的一门终极学科呢？

第三，人工智能有能力实现它被赋予的既定目标，但人工智能无法解释它实现目标过程背后的基本原理。在模式识别、大数据分析和游戏等领域，人工智能或许已经超越了人类。如果人工智能的计算能力继续快速进步，那么它或许很快就能够以与人类略为不同或截然不同的方式对场景进行优化。但到了那个时候，人工智能是否能够以人类能理解的方式来证明它的场景优化比人类做得更好呢？人工智能的决策是否会超越人类语言的解释能力或人类理性的理解能力呢？

纵观人类历史，我们创造了很多理解周遭的世界的方法——在中世纪，我们通过宗教来理解世界；在启蒙时代，我们诉诸理性；在19世纪，我们通过历史去分析世界；而到了20世纪，我们又找到了意识形态这个工具。至于当下这个我们正在投身其中的新世界，一个最难回答然而也最为重要的问题在于：如果人类个体对客观世界的认知能力被人工智能所超越，如果人类社会再也无法通过自己能够理解的方式去解释这个世界，届时人类意识本身会落入怎样的境遇呢？

在未来的人工智能世界里，人类经验在机器眼中不过是一堆可以用自身内存处理的数据，从这一角度来说，人类意识又该如何定义呢？谁该为人工智能机器人的行为负责呢？当人工智能犯下错误时，责任归属该如何划定呢？当人工智能的思想比人类更加深邃、其行动能力比人类更加强大时，由人类制定的法律体系还能够对人工智能的行为做出裁定吗？

最后，“人工智能”（Artificial Intelligence）这个词可能用得并不恰当。不可否认，人工智能机器人能够解决很多非常复杂且表面看起来非常抽象的问题，这些问题此前都是在人类认知能力的参与下获得解决的。但人工智能的独特之处在于，它的“思维方式”是人类此前从未想到过的，更是此前从未采取过的。或者可以这样表述，人工智能前所未有的记忆能力和计算能力是其“思维方式”有别于人类的关键。由于在上述两方面的压倒性优势，人工智能可以在人类给它安排的任何游戏中胜出。

但对于人类而言，我们在参与游戏活动时，“赢”并非唯一的目的，我们还希望在游戏中享受思考的乐趣。当我们将人工智能的数据处理过程当作思考过程亲自进行模拟，当我们将这一过程得出的结果视为人类思考的结果，那么人类真正的思考能力就有可能退化，而思考能力正是人类认知能力的核心。

最近新推出的人工智能程序“阿尔法零”（Alpha Zero）就体现了上述趋势。这款人工智能棋类程序的国际象棋水平在大师级之上，它的行棋风格在国际象棋历史上也是前所未见的。仅仅通过几个小时的自我对弈训练，“阿尔法零”就获得了人类用1500年才能达到的国际象棋水平，而它最初具备的仅仅是国际象棋的基本规则。在“阿尔法零”自我训练的过程中，没有任何人参与，也没有任何来自人类的对弈数据被注入该人工智能程序。如果“阿尔法零”在短短几个小时之内就获得了国际象棋大师的对弈水平，那么5年之后，人工智能技术将发展到怎样的高度呢？人工智能对人类的认知能力会产生怎样的影响呢？从本质上来说，人工智能所做的其实是对选择过程进行加速，那么伦理道德在这一过程中又扮演着怎样的角色呢？

一般来说，此类问题应该留给技术人员以及相关科学领域的专业人士去回答。哲学及其他人文学科领域的学者们曾在“世界秩序”这一概念的塑造方面贡献了自己的力量，但由于他们对人工智能程序的运行机制缺乏理解或者干脆被人工智能的表现所震惊以至于对其心生敬畏，他们在分析上述问题时并非处于很合适的地位。相比之下，科学界在十分兴奋地探索人工智能在诸多领域获得成功的技术可行性，而技术界也在为人工智能未来规模巨大的商业前景感到鼓舞。科学界和技术界这两个群体都在探索推进人工智能技术进步的边界，但他们并没有花太多时间试图去理解这种技术进步到底意味着什么。至于我们的政府，就其工作内容而言，与思考人工智能所产生的对人类未来生存境况的影响比起来，他们对人工智能技术在国家安全和情报工作方面的应用似乎更加感兴趣。

“启蒙运动”从根本上来说是由新技术出现所导致的人们对我们这个世界在哲学层面的理解所发生的变化。而我们当下的时代与启蒙时期相比，在技术进步和哲学思考的互相作用方向上是相反的。我们一直在寻求一种指导纲领性的哲学，而在寻求这种哲学的过程中，我们却创造出了一种很可能将主导一切的技术。其他很多国家已将人工智能列为重要的国家级项目，但美国甚至还没有开始对这项新技术所涉及的应用范围以及它可能在各层面造成的影响进行系统性研究，而且为了避免被人工智能取代，我们在人类的终极学习（ultimate learning）领域也还没有启动任何计划。鉴于人类人文主义传统（humanistic traditions）的命运与人工智能技术密切相关，美国必须在国家层面对这项技术的发展保持高度关注。

就像我不了解人工智能的技术细节一样，人工智能技术领域的研发人员们对政治和哲学也是缺乏认识的。他们应该把我在本文中提出的问题也提给自己，并在今后的研发过程中将那些问题纳入考虑。此外，美国政府应该成立一个由各领域杰出思想家组成的总统委员会以便他们在国家层面协助制定未来人工智能技术发展的远景规划。

有一点是明确的：如果我们不尽快行动起来，过不了多久我们就会发现一切已经太迟了。

（观察者网马力译自2018年6月号美国《大西洋月刊》杂志）