马斯克、霍金和比尔·盖茨联合很多名流发宣言，要求停止军事用途的人工智能研发。其实更危险的是，假定人工智能既不失控也不反叛，全心全意为人服务，恰恰这样至善全能的人工智能对人类的威胁是致命的，因为这样的人工智能将消解我们人类生存的意义


　　老高按：从小我就是一个“三迷”——科幻小说迷，推理小说迷，武侠小说迷。后两迷这里且不去说它，对科幻小说，我可以说痴情了大半辈子。儒勒·凡尔纳、赫伯特·乔治·威尔斯、艾萨克·阿西莫夫……在图书匮乏的年代，这些科幻小说大师的所有作品中译本我都搜求来读过，如醉如痴，若有的书必须马上还，我甚至通宵不眠。熬夜看闲书，我父母完全不理解也不赞成，好在没有强行禁止。
　　读当然不意味着都能有收获。但是读得多，“操千曲而后晓声，观千剑而后识器”（刘勰《文心雕龙》这句话还是有道理的，慢慢地对那些奇幻想象、生鲜情节背后的观念世界有所领悟，记得八十年代中期，我半瓶子水晃荡，竟然不自量力地写了一篇不长不短的谈中外科幻小说比较的随笔，在《光明日报》还是什么报上刊出了，居然有出版社通过报纸编辑找到我，认真提议我以文中所表述的理念为指导思想，自找书目，翻译和编辑一套外国科幻小说丛书。我当然赶快解释这超出我的能力太多，请其另找高明。现在回想起来，若当时我一咬牙“赶着鸭子上架”，潜心钻研，熬到今天，是否真的能成为一个这个领域的评论家、出版家？——这让我想起美国诗人弗罗斯特那首脍炙人口的《没有走的路》。
　　日前读到江晓原教授在上海“东方讲坛·思想点亮未来”系列讲座上谈人工智能问题的演讲速记稿，与科幻作品有关联，对我很有启发。
　　江晓原的文章我看过若干。他1982年毕业于南京大学天文系天体物理专业，1988年毕业于中国科学院自然科学史研究所，成为中国第一个天文学史专业的博士。曾在中国科学院上海天文台工作15年，1994年中国科学院特批他晋升研究员，次年成为博士导师。他曾当过上海交通大学人文学院首任院长。现为上海交大科学史系主任，中国科技史学会前副理事长。
　　今天的人们都面临现实生活的很多压力，似乎无暇思虑超出个人生活的、进入形而上领域的、看似迂阔得不着边际的话题，例如“人工智能对人类究竟意味着什么”这样的问题。但我想，人们不仅要有“诗和远方”来充实和扩展自己内心的人文情怀，而且从每个人面对现实挑战的意义上也已经迫在眉睫：应该思考，应该发声，应该行动。


　　埃隆·马斯克、史蒂芬·霍金、比尔·盖茨

　　联手反对哪种人工智能，充分说明什么

　　江晓原，上观新闻

　　本文根据作者在“东方讲坛·思想点亮未来”系列讲座上的演讲速记稿整理而成。

　　以前我们很多读物中对科幻作品（包括电影和小说）都有严重误解和误导，很多人认为科幻是文学作品，是科普作品，甚至是少儿读物。这种观念极大地妨碍了我们从科幻作品中获取思想资源。事实上，真正的科幻是给成年人看的。而科幻主要的任务，是思考一些我们平常在生活中不容易或不方便思考的问题。所以在过去的一个多世纪中，国际上科幻作品的主流，就是对科学技术的反思。
　　具体到人工智能问题，几乎所有的西方科幻作品里的人工智能都是负面的和有害的。科幻作品中极少会像我们许多人想象的那样，对未来高科技社会中的人工智能进行讴歌。很多人以为科幻作品会想象未来世界如何美好，其实一个多世纪以来，这样的作品都已经是不入流的了，入流的作品都是有反思的。大量科幻作品对人工智能已经做过深入反思，我们今天能够想象到的所有人工智能的负面作用，在科幻作品中几乎都已经表现过了。

　　人工智能的失控和反叛

　　前些时候人工智能阿尔法GO下围棋赢了李世石，我和几位人工智能专家以及年轻人的偶像柯洁九段一起做电视节目时，柯洁还表示李世石虽然败了，他还是能下赢的，后来他跟阿尔法GO下了一次也输了，他也没信心了，说“感觉在跟上帝下棋一样”。稍后的阿尔法zero，面对全世界60名围棋高手，下成60比0，人类全输了。据说阿尔法GO是从人类先前的棋谱中学习的，但阿尔法zero完全没有借鉴人类的任何棋谱，只是告诉它围棋规则，它自行研究后就一举打败了人类60高手。这表明人工智能一旦有了学习能力，你不知道它会变成什么样子。
　　还要考虑人工智能和互联网结合后的极大危险。以前在阿西莫夫写关于人工智能的科幻作品时，还没有互联网，分立的个体人工智能毕竟还有一个物理极限，一个机器人哪怕全身都是芯片，它的存储和运算能力也是有物理极限的。但是今天任何与互联网结合在一起的人工智能都能够轻易超越这个极限，这样它的学习能力，它的进化速度，都是无法预测的，因而也就很可能是无法控制的。
　　影片《超体》（Lucy，2014）充分展示了人工智能一旦具有学习能力之后，它的潜能发挥和迅速进化可以达到什么程度。人工智能专家经常安慰我们说：人工智能还很弱小，你们担心的事情离现在还很远。但是知识增长是有加速度的，从弱人工智能到强人工智能，到底要多少年？20年？再从强人工智能到超人工智能，也许一小时都不用，在《超体》的故事中，人工智能最后迅速变成一个超能的神，这就意味着失控。
　　影片《超体》中，这个成神的人工智能还没有对人类表现出恶意，如果它对人类有了恶意，那还有更可怕的前景。传统概念中的机器人，它们身体的大部分其实都是伺服机构，但是和互联网结合的人工智能，就不再需要这样的伺服机构了。比如一个邪恶的人工智能想实施一次恐怖爆炸，它怎么做？它只需在网上合法订购各类可以构成爆炸装置的民用原料和器件，然后订购组装服务，再利用物流服务送往指定地点，由它引爆。这样的人工智能不再需要任何伺服机构，它只是互联网上的一个幽灵。反映这种前景的作品已经有很多了。
　　剧集《疑犯追踪》（Person of Interest，2011～2016）迄今已有五季，第一季看着像探案故事，但是越来越科幻，到了最后一季已经完全变成一个超级的科幻作品。那里面的人工智能就是躲在网络上的幽灵。现在人工智能专家还经常安慰公众说，人工智能如果真的出了问题，我们把电源拔掉就行了，但是对于和互联网结合的人工智能，如果它想作恶，到哪里去“拔掉电源”？
　　影片《机械姬》（Ex Machina，2015）也相当有代表性，那个女机器人最后突然作恶，把她的创造者囚禁起来，自己出去了。这个结尾为拍第二部准备好了接口。这个反社会人格的女机器人出去后会在社会上做什么坏事，有很大的想象空间。
　　至于著名的影片《未来战士》系列（Terminator，又名《终结者》，1984～2015），已有五部，讲人工智能反叛人类后对人类的剿杀，以及人类的殊死反抗，已成经典。

　　人工智能的人权问题

　　人工智能发展进化之后，我们早晚要面临人工智能的人权问题。即使人工智能自己不提出来，我们人类自己从伦理道德的角度出发，也会提出这个问题。事实上当然是科幻作品中很早就提出了这个问题。
　　较早的影片《变人》（Bicentennial Man，1999）直接提出了这个问题。家里买来了一个机器人，这个机器人对他们家的小姐产生了感情，小姐当然不能和一个家用电器恋爱，所以虽然对它也挺好，但是没办法拍拖。于是机器人不断让自己升级，最终把自己进化成完全跟人一模一样，但是故事里的人类社会拒不承认它的人权，不批准它和人类的婚姻。
　　要讨论人工智能的人权问题，就必须为取得人权给出条件。在影片《变人》中，最后给出的条件居然是死亡——有生老病死，是获得人权的必要条件。最后这个机器人为了让自己和人类小姐的婚姻有效，它把自己的永生能力取消了，人类社会才承认了他们的婚姻。
　　当然还有作品给出了别的条件。比如影片《银翼杀手2049》（Blade Runner 2049，2017）中设想的界限是“生育”——只有被母亲生出来孩子才有人权。在《银翼杀手2049》的世界里，复制人是没有人权的，人们不必尊重他们。银翼杀手K虽然身怀绝技，仍被同事们鄙视为“假货”。
　　第三个，在很多作品里都给出过的，是文化。这是一个相对合理的想法，一个人工智能（或者机器人、仿生人、克隆人等等），如果他拥有了人类的文化，我们就同意给他人权。前不久沙特阿拉伯最先尝试了世界上最激进的做法——给一个机器人授予了公民权，这当然就是承认了她的人权。该机器人叫索菲娅，是一个女性形象，如今她会出席各种各样的会议。虽然索菲娅早先说过“要灭亡人类”这样的话，现在她在社会上活动，有人翻出她当年的话来，她改口说愿意和人类友好相处。最近又传出她打算结婚，当然也可能只是炒作。在索菲娅的个案里，人权主要是靠文化来获得的。
　　人工智能的人权问题之所以非常重要，是因为人工智能一旦被我们大量应用之后，我们的很多法律和伦理问题都和人工智能的人权直接有关。
　　影片《机械公敌》（I, Robot，2004）就强调了这一点。那个机器人杀了人之后，警方认为这是谋杀，生产机器的公司说，我们对“谋杀”的法律定义是一个人蓄谋杀害另一个人，机器人没有人权，所以它杀人只是机器故障。类似的问题现在已经在我们眼前了，我们已经让自动驾驶汽车上路了，如果自动驾驶汽车撞死了人，怎么追责？这个责任到底是车主来负还是生产汽车的厂家来负？
　　又如剧集《真实的人类》（Humans，2015～2018），已经有三季，故事中家里买了一个女性机器人来，引发了各种各样的问题。比如男主人有一次和这个女性机器人做了爱，他这个行为的定性，直接与机器人的人权有关：如果机器人没有人权，他就是自慰；如果机器人有人权，他就是出轨。
　　类似的问题还可以设想很多，现有的法律对这些问题都缺乏相应的规定，我们的伦理观念也没有准备好适应这些现象。

　　军用人工智能的伦理问题

　　阿西莫夫著名的“机器人三定律”，第一定律就是“机器人不得伤害人类，也不得见人类受到伤害而袖手旁观”，这个第一定律意味着什么？意味着我们人类不能把杀人的权力让渡给机器人，而这就排除了将机器人或人工智能应用于军事用途的一切合法性。比如有一个罪犯被判了死刑，我们可以让机器人去对他执行枪决吗？不可以。因为机器人不得伤害人类，不管这个人类是一个罪犯还是一个功臣。
　　但是如果研发军事用途的人工智能，那当然就是把杀人的权力交给机器人。比如现在很热的无人机，即使是在人类下达命令之后让无人机执行攻击，也违背了第一定律，更不用说研发自主识别目标执行攻击的无人机了。
　　所以军事用途的人工智能这个事情本身就是从根本上违背“机器人三定律”的。但是因为三定律并不是什么法律，只是一个科幻小说家在他的小说里提出来的，虽然搞人工智能的不少人表示愿意尊重这三个定律，但这毕竟不是法律，如果研发者不遵守别人也拿他没办法，很多研发军事用途人工智能的人当然都没有遵守这三个定律。他们通常可以有两个路径来为自己辩护。
　　第一个路径就是宣称三定律只是小说家言，我们为了崇高目标不必当真。第二个路径是利用“人工智能”划界的困难，什么叫“人工智能”？你口袋里的手机是不是人工智能？你通过适当的定义就可以把手机定为人工智能。既然如此，那么现代战争中的指挥通讯系统为何不能定义为人工智能？这样的人工智能不是早就在战争中应用了吗？反过来，对另一些武器，比如无人驾驶的坦克，无人机，你可以说这只是一种自动武器，你也可以说这是人工智能。到底算不算？这没有明确的边界。
　　最近美国拍了一系列以无人机为主题的科幻电影，在这些作品里面，伦理道德问题往往是很突出的。
　　前些时候，埃隆·马斯克、史蒂芬·霍金、比尔·盖茨联合了很多名流，发表了一个公开的宣言，要求停止军事用途的人工智能研发。认为这有可能产生比原子弹更可怕的武器。一方面，军用人工智能直接操控武器或自身就是武器，一旦失控后果难以设想；另一方面即使没有失控，研发出这类更新颖更高效的杀人武器，从根本上来说也绝非人类之福。媒体对此有过一些报道，但并不突出和重视。学者当中提出了类似这三个人观点的也不少，但这些都还没有达到国家政策的层面，都只是民间的呼吁。
　　马斯克自己就是一个人工智能大力的支持者和使用者，他自己的工厂里使用了大量的工业人工智能，但是他一面自己在使用和研发人工智能，一面却不断警告说人工智能是非常危险的，他这样做看上去有点伪善，但是他提出警告毕竟也有好处。比如说，我肯定在马斯克他们的上述宣言之前早就发表文章提出过警告了，但人们会说你又不研究人工智能，你的警告我们用不着重视。但是马斯克提出警告，人们至少不会说他不研究人工智能吧？至少对他的警告要更重视一些吧？从这个意义上说，他的警告作用就可能比较大，所以他的警告我也都赞成。
　　所以今天我们只能、而且必须抱着和当年搞“两弹一星”类似的心态来进行军事用途的人工智能研发。军用人工智能就是今天的“两弹一星”。比较理想的局面，是各大国坐下来谈判，签署限制或禁止人工智能研发的国际协议。但谈判需要手中有筹码，只有当中国手中握有足够的实力筹码时，才有可能推动人工智能方面的国际裁军谈判。

　　人工智能的终极威胁

　　科幻作家、科普作家阿西莫夫，因为在小说中提出了“机器人三定律”，所以人们在谈论人工智能时总会提到他。其实他的科幻作品中最著名的是小说《基地》系列，共11卷，是一部科幻史诗作品，前后时间跨度以千年万年为单位，讨论整个银河帝国的兴衰。在这部科幻史诗中，阿西莫夫提出了一个重要观点——所有依赖人工智能的文明都必将衰亡。所以在他的书里能够持久发展的文明，比如银河帝国，是立法禁止人工智能的。
　　为什么？当然有道理。因为人工智能会让文明衰亡。前面我们讨论了人工智能的失控和反叛，但这些还未必是人工智能对于人类的终极威胁。假定这些问题都没有发生，人工智能既不失控也不反叛，它把我们的一切工作都做了，全心全意为人民服务，阿西莫夫指出，恰恰是这样至善全能的人工智能，对人类的威胁是致命的，因为这样的人工智能将消解我们人类生存的意义。
　　有人会说，所有的事情都让机器人做了，但是我们可以创造，我们可以搞艺术，可以过精神生活呀！问题是人工智能也可以替你去创造，甚至精神生活也可以替你去过——比如芯片植入人机结合之后，那些所谓的“精神生活”还是你的吗？这么经历一两代人之后，人类的智能和体能都将急剧衰退，很快就将成为行尸走肉，我们的人生就将毫无意义。
　　另一方面，在这样的世界里，我们肯定会把我们所有的社会管理都交给人工智能，人工智能就将在实际上统治这个星球。用不了多久，人工智能必然会得出一个合理的结论：人类这帮寄生虫，活在这个世界上纯粹是对环境的污染，它完全可以清除人类来优化环境。这时不管人类自己的生存意义丧失与否，都必然是人类的末日。
　　还有一些人这样想：我们为什么要害怕人工智能推翻人类社会呢？如果人工智能推翻了人类社会，那人工智能必将是一个比人类更好的存在模式，我们为何不能接受呢？其实这里有一个是否“以人为本”的问题。即使人工智能发展得比我们人类更优越了，我们也没有理由听任人工智能将我们人类清除掉。我们人类站在自己这个物种的立场上，我们当然不可能接受被别的物种征服或灭亡。
　　所以警惕人工智能，比无条件地拥抱人工智能更合情合理。