人工智能必将威胁我们的文明
未来世界，人工智能接管了病房，力图打造一个人人长寿、返老还童的乌托邦世界，但同时，医院又陷入混乱，病人们一个个死去。这到底是怎么回事？病人杨伟经过调查发现，经过漫长的算法演化，人工智能对治愈疾病已经感到失望，认为消除疾病的方法只有消灭病人甚至消灭人类。
这是科幻作家韩松“医院三部曲”的第二部《驱魔》的开篇。韩松说，这本小说讲述了人工智能消灭人类的全部过程，而该系列的第三部《亡灵》将讲述人类被消灭之后的故事。
《驱魔》韩松著上海文艺出版社2017－5对人工智能的担忧是科幻作品中常见的主题，早在1979年，英国科幻作家詹姆斯·霍根（JamesP.Hogan）就在《明天的两面》中讲述了拥有自我意识的人工智能脱离人类控制并且掀起大规模战争的故事；威廉·赫特林（WilliamHertling）的《AI启示录》中，人类发明的计算机病毒持续增长并进化成一种复杂的智能物种，造成自动取款机罢工、智能手机罢工、汽车罢工——社会停滞、资源崩溃，人类数以亿计地死去。丹尼尔·苏亚雷斯（DanielSuarez）的《守护程序》也描绘类似的场景：守护程序侵入了多台计算机，控制了无人驾驶汽车和电子武器，并开始摧毁人类文明……
认为人工智能将构成威胁的不仅是科幻作家，早在2014年，科学家霍金就曾经警告人类：一旦经过人类的开发，人工智能将会自行发展，以加速度重新设计自己。由于受到缓慢的生物演化的限制，人类不能与之竞争，最终将会被代替。但是，与这种悲观论调相对的是，AlphaGo战胜李世石之后，越来越多的资本流进了人工智能领域。而从普通人的角度，不论是语音输入法还是智能冰箱，不论是无人超市还是无人驾驶的汽车，科技的进步都给生活带来了诸多便利。
人工智能到底危险在哪里？有什么办法防止它产生的危害？近日，韩松与上海交通大学教授江晓原探讨了人工智能对人类文明的威胁。
近期、中期、远期，人工智能都会威胁人类文明“人工智能必将威胁我们的文明。”对谈一开场，江晓原就抛出了这样的观点。他说，目前较低层次的人工智能已经被大量采用，而从业者还预测，人工智能将在未来替代人类90%以上的工作岗位。但是，这个前景一旦成为现实，就会造成大规模的人类失业，而为数众多的失业者可以用无限的时间来积累不满、酝酿革命，危及社会稳定。届时，无论东方还是西方，无论何种意识形态的社会制度都无法解决这个问题。
在造成人类失业以后，人工智能还会继续进化，并可能失控和反叛。对于这种担忧，一些专家告诉人们：人工智能现在还很初级，即使战胜了李世石，也不过是下棋而已，不用担心失控的问题。江晓原却认为这种说法是典型的养虎遗患，他反问：“如果那些养老虎的人说，老虎还很小，先养着再说，我们能同意这样的论证吗？”还有一些专家也看到了人工智能失控的可能，提出可以给它设定道德戒律，来防止造成危害，江晓原说，这个方案经不起考验，因为即使是人类不断向同类灌输道德戒律，却依然有一部分学坏的人。而人们虽然可以制约人类中的败类，但却没有办法控制比人类更加聪明的人工智能。
而从远期来看，科幻作家阿西莫夫曾提出这样的观点：所有依赖于人工智能的文明都会灭亡。这是因为，如果所有的人工智能都没有失控和叛变，未来所有的事情都由它一手操办，人类将在智能和体能上急剧衰退。到那时，或许人类将自愿进入《黑客帝国》描绘的状态中：人工智能将人类豢养起来，给人体输入虚假的快活信号，人永远感受到快乐，但却失去了生存的意义。
《黑客帝国》中，人类被机器豢养江晓原总结说，无论是从近期、中期、远期看，人工智能都是极为危险的。可是另一方面，我们对人工智能的研究的脚步一旦迈出，就已经无法收回，也无法停止。“我们被劫持了。就像纳粹研究原子弹，美国也不得不启动曼哈顿工程。”每个国家和群体都认为：别人都在研究人工智能，我们不做不是吃亏了？人类对人工智能的发展陷入了囚徒困境。
防止人工智能毁灭人类的方法既然人类已经被“劫持”，发展人工智能的趋势已经无法被阻止，那么如何防止人工智能毁灭人类？作家韩松提出了几种可行的做法。
首先，“可以交由公众讨论，把发展人工智能的危害、可能造成的伦理问题和社会问题全部讲清楚。在充分的民主讨论之后，再利用法律手段对其加以限制。”江晓原赞同韩松提出的这个做法，他说，当今我们就应当进行这种讨论。很多人认为只有科学家才对科学技术的发展有发言权，但实际上，由于科学技术会直接影响到每个人的生活，所以每个人都有发言权。
韩松提出的另一种方法是使用类似于防火墙的技术，制造一堵巨大的AI墙，在人工智能发展到一个临界点时，警报响起，随之AI墙迅速高筑，进行封锁，让人工智能迅速消失。而他看到的第三种可能则是让人工智能像滚雪球一样继续发展，各国之间随之展开一种类似于核竞赛的竞争，直到像在冷战中那样，形成“确保互相摧毁机制”。
“我眼中，未来唯一的出路是大国谈判。”江晓原说，未来将会发生某一种明显由人工智能导致的灾祸，各大国因此而决定有必要坐下来进行谈判，限制全球范围内对人工智能的研发，只有这样的谈判才能够拯救人类。但他的担心是，由于人工智能发展太快，灾祸一旦发生就可能就是灭顶之灾，人类社会全面崩溃。“我们对人工智能警惕性越高，关注度越大，就越可能在灾祸比较小的时候推动大国谈判。”他说，这个意义上，每个人都可以为防止人工智能消灭人类作出贡献。
普通人应该多读科幻小说，保持对科技的戒心虽然不断有科学家、科幻作家在描绘人工智能的可怕前景，告诫人们要保持警惕，但许多人依然乐于看到人工智能的发展。“这与我们教育中的偏差有关，我们一直把科学技术想象成为无限美好的东西。”江晓原说，我们从进入学校开始就一直被灌输科学技术是第一生产力的观念，任何东西只要扛着科学的旗帜，就会被认为是好事情。所以，至今依然有很多人认为，包括人工智能在内的所有科学技术的发展都是有利的。
“而且，人工智能本身也太吸引人了。”韩松了解人工智能带来的新奇感：它能够瞬间把智力、记忆力提高十倍、百倍，一天就能够学完普通人要学十年的东西，无怪乎大量的技术人员和普通人都对它的未来充满了期待。可是韩松也提醒公众，科技发展的迷人外表下面存在很多隐患。
韩松给举了一个例子。他曾经去生产无人机的深圳大疆创新科技有限公司参观，工作人员说，他们力图实现未来每个家庭一个无人机的目标。身为科幻作家的韩松提了一个问题：如果一个人同时操纵一百架无人机，同时撞向一个目标，重现美国“911”的场景，该怎么办？工作人员想了想回答说：这不是我们考虑的问题。
从这个回答中，韩松认为现在不少技术人员存在短视的问题，只能看到眼前的进步，却无法看到其中的隐患。而在关于人工智能的讨论中，技术人员和相关企业常常是乐观的，终极性的问题往往是科幻作家在讨论。
很多科幻作品在告诫人类，要警惕人工智能的未来。江晓原说，在科幻作品中，人工智能的一条出路是人机结合：只要将芯片植入大脑中，人就可以变成超人，再与基因工程相结合，人还可以永生，成为神。如果真的有这么一天，一开始可以获得芯片植入的会是极少数，而其他人类将变成低等级的人，在这种极度不平等的社会中，没有变成“神”的普通人一定会用全部的生命进行革命，而人类社会将从奴隶社会开始重新轮回。
除了这样的前景以外，科幻作品还提出了另一种可能：人机结合的技术变得极为廉价，所有人都成为了极为聪慧且永生不死的神，但同时也失去了生存的意义，成为行尸走肉，这种情况与人类被人工智能全部替代的情形实际上殊途同归。
韩松则畅想了人工智能在医疗领域的发展。在“医院”系列的第一部《医院》中，通过深度学习，人工智能比人类医生更精确、更勤奋：可以储存更多的病例，而且24小时不疲劳。不仅如此，它不收红包，不走后门，不会引起医患纠纷。但在这看似美好的未来当中，拥有了意识的人工智能逐渐发现，很多疾病是整个社会的环境带来的，它无法控制，也无法根除。由此，它产生了一种无能为力的悲哀。于是到了《驱魔》中，人工智能产生了这样的认识：只有消灭病人甚至消灭人类才能够根治疾病。
人类在自己的创造物中收获到的是仇恨。从第一篇现代意义上的科幻小说《弗兰肯斯坦》开始，后世的科幻作品都基本遵循了这样的基调。江晓原观察到，所有认为前景光明灿烂的科幻作品都是初级而低幼的，“真正优秀的科幻作品都是悲观的、黑暗的。”他认为，这也正是科幻小说、科幻电影真正的价值：它们宏大的设定和绚丽的场景固然令人难忘，而最根本的意义却是让公众对科学技术产生警惕。
“一定要多看科幻电影，多读科幻小说，保持戒心。”江晓原告诫现场的观众，即使在享受着人工智能带来的便利，也要牢记它是危险的。“也许在未来，就是这一点戒心救了我们。”
……………………………………
欢迎你来微博找我们，请点这里。
也可以关注我们的微信公众号“界面文化”【ID:BooksAndFun】
人工智能的创新发展与社会影响
党的十八大以来，习近平总书记把创新摆在国家发展全局的核心位置，高度重视人工智能发展，多次谈及人工智能的重要性，为人工智能如何赋能新时代指明了方向。2018世界人工智能大会9月17日在上海开幕，习总书记致信祝贺并强调指出人工智能发展应用将有力提高经济社会发展智能化水平，有效增强公共服务和城市管理能力。深入学习领会习总书记关于人工智能的一系列重要论述，务实推进我国《新一代人工智能发展规划》，有效规避人工智能“鸿沟”，着力收获人工智能“红利”，对建设世界科技强国、实现“两个一百年”的奋斗目标具有重大战略意义。
一、引言
1956年人工智能（ArtificialIntelligence，简称AI）的概念被正式提出，标志着人工智能学科的诞生，其发展目标是赋予机器类人的感知、学习、思考、决策和行动等能力。经过60多年的发展，人工智能已取得突破性进展，在经济社会各领域开始得到广泛应用并形成引领新一轮产业变革之势，推动人类社会进入智能化时代。美国、日本、德国、英国、法国、俄罗斯等国家都制定了发展人工智能的国家战略，我国也于2017年发布了《新一代人工智能发展规划》，发改委、工信部、科技部、教育部等国家部委和北京、上海、广东、江苏等地政府也相继出台推动人工智能发展的相关政策文件，社会各界对人工智能的重大战略意义已形成广泛共识。
跟其他高科技一样，人工智能也是一把双刃剑。如何认识人工智能的社会影响，也有“天使派”和“魔鬼派”之分。“天使派”认为，人工智能领域的科技创新和成果应用取得重大突破，有望引领第四次工业革命，对社会、经济、军事等领域将产生变革性影响，在制造、交通、教育、医疗、服务等方面可以造福人类；“魔鬼派”认为，人工智能是人类的重大威胁，比核武器还危险，有可能引发第三次世界大战。2018年2月，牛津大学、剑桥大学和OpenAI公司等14家机构共同发布题为《人工智能的恶意使用：预测、预防和缓解》的报告，指出人工智能可能给人类社会带来数字安全、物理安全和政治安全等潜在威胁，并给出了一些建议来减少风险。
总体上看，已过花甲之年的人工智能当前的发展具有“四新”特征：以深度学习为代表的人工智能核心技术取得新突破、“智能+”模式的普适应用为经济社会发展注入新动能、人工智能成为世界各国竞相战略布局的新高地、人工智能的广泛应用给人类社会带来法律法规、道德伦理、社会治理等方面一系列的新挑战。因此人工智能这个机遇与挑战并存的新课题引起了全球范围内的广泛关注和高度重视。虽然人工智能未来的创新发展还存在不确定性，但是大家普遍认可人工智能的蓬勃兴起将带来新的社会文明，将推动产业变革，将深刻改变人们的生产生活方式，将是一场影响深远的科技革命。
为了客观认识人工智能的本质内涵和创新发展，本报告在简要介绍人工智能基本概念与发展历程的基础上，着重分析探讨人工智能的发展现状和未来趋势，试图揭示人工智能的真实面貌。很显然，在当下人工智能蓬勃发展的历史浪潮中如何选择中国路径特别值得我们深入思考和探讨。因此，本报告最后就我国人工智能发展态势、存在问题和对策建议也进行了阐述。
二、人工智能的发展历程与启示
1956年夏，麦卡锡（JohnMcCarthy）、明斯基（MarvinMinsky）、罗切斯特（NathanielRochester）和香农（ClaudeShannon）等科学家在美国达特茅斯学院开会研讨“如何用机器模拟人的智能”，首次提出“人工智能”这一概念，标志着人工智能学科的诞生。人工智能的目标是模拟、延伸和扩展人类智能，探寻智能本质，发展类人智能机器。人工智能充满未知的探索道路曲折起伏，如何描述1956年以来60余年的人工智能发展历程，学术界可谓仁者见仁、智者见智。我们将人工智能60余年的发展历程划分为以下6个阶段：
一是起步发展期：1956年-20世纪60年代初。人工智能概念在1956年首次被提出后，相继取得了一批令人瞩目的研究成果，如机器定理证明、跳棋程序、LISP表处理语言等，掀起了人工智能发展的第一个高潮。
二是反思发展期：60年代-70年代初。人工智能发展初期的突破性进展大大提升了人们对人工智能的期望，人们开始尝试更具挑战性的任务，并提出了一些不切实际的研发目标。然而，接二连三的失败和预期目标的落空（例如无法用机器证明两个连续函数之和还是连续函数、机器翻译闹出笑话等），使人工智能的发展走入了低谷。
三是应用发展期：70年代初-80年代中。20世纪70年代出现的专家系统模拟人类专家的知识和经验解决特定领域的问题，实现了人工智能从理论研究走向实际应用、从一般推理策略探讨转向运用专门知识的重大突破。专家系统在医疗、化学、地质等领域取得成功，推动人工智能走入了应用发展的新高潮。
四是低迷发展期：80年代中-90年代中。随着人工智能的应用规模不断扩大，专家系统存在的应用领域狭窄、缺乏常识性知识、知识获取困难、推理方法单一、缺乏分布式功能、难以与现有数据库兼容等问题逐渐暴露出来。
五是稳步发展期：90年代中-2010年。由于网络技术特别是互联网技术的发展，信息与数据的汇聚不断加速，互联网应用的不断普及加速了人工智能的创新研究，促使人工智能技术进一步走向实用化。1997年IBM深蓝超级计算机战胜了国际象棋世界冠军卡斯帕罗夫，2008年IBM提出“智慧地球”的概念，这些都是这一时期的标志性事件。
六是蓬勃发展期：2011年-至今。随着大数据、云计算、互联网、物联网等信息技术的发展，泛在感知数据和图形处理器（GraphicsProcessingUnit，简称GPU）等计算平台推动以深度神经网络为代表的人工智能技术飞速发展，大幅跨越科学与应用之间的“技术鸿沟”，图像分类、语音识别、知识问答、人机对弈、无人驾驶等具有广阔应用前景的人工智能技术突破了从“不能用、不好用”到“可以用”的技术瓶颈，人工智能发展进入爆发式增长的新高潮。
通过总结人工智能发展历程中的经验和教训，我们可以得到以下启示：
（一）尊重学科发展规律是推动学科健康发展的前提。科学技术的发展有其自身的规律，顺其者昌，违其者衰。人工智能学科发展需要基础理论、数据资源、计算平台、应用场景的协同驱动，当条件不具备时很难实现重大突破。
（二）基础研究是学科可持续发展的基石。加拿大多伦多大学杰弗里·辛顿（GeoffreyHinton）教授坚持研究深度神经网络30年，奠定人工智能蓬勃发展的重要理论基础。谷歌的DeepMind团队长期深入研究神经科学启发的人工智能等基础问题，取得了阿尔法狗等一系列重大成果。
（三）应用需求是科技创新的不竭之源。引领学科发展的动力主要来自于科学和需求的双轮驱动。人工智能发展的驱动力除了知识与技术体系内在矛盾外，贴近应用、解决用户需求是创新的最大源泉与动力。比如专家系统人工智能实现了从理论研究走向实际应用的突破，近些年来安防监控、身份识别、无人驾驶、互联网和物联网大数据分析等实际应用需求带动了人工智能的技术突破。
（四）学科交叉是创新突破的“捷径”。人工智能研究涉及信息科学、脑科学、心理科学等，上世纪50年代人工智能的出现本身就是学科交叉的结果。特别是脑认知科学与人工智能的成功结合，带来了人工智能神经网络几十年的持久发展。智能本源、意识本质等一些基本科学问题正在孕育重大突破，对人工智能学科发展具有重要促进作用。
（五）宽容失败应是支持创新的题中应有之义。任何学科的发展都不可能一帆风顺，任何创新目标的实现都不会一蹴而就。人工智能60余载的发展生动地诠释了一门学科创新发展起伏曲折的历程。可以说没有过去发展历程中的“寒冬”就没有今天人工智能发展新的春天。
（六）实事求是设定发展目标是制定学科发展规划的基本原则。达到全方位类人水平的机器智能是人工智能学科宏伟的终极目标，但是需要根据科技和经济社会发展水平来设定合理的阶段性研究目标，否则会有挫败感从而影响学科发展，人工智能发展过程中的几次低谷皆因不切实际的发展目标所致。
三、人工智能的发展现状与影响
人工智能经过60多年的发展，理论、技术和应用都取得了重要突破，已成为推动新一轮科技和产业革命的驱动力，深刻影响世界经济、政治、军事和社会发展，日益得到各国政府、产业界和学术界的高度关注。从技术维度来看，人工智能技术突破集中在专用智能，但是通用智能发展水平仍处于起步阶段；从产业维度来看，人工智能创新创业如火如荼，技术和商业生态已见雏形；从社会维度来看，世界主要国家纷纷将人工智能上升为国家战略，人工智能社会影响日益凸显。
（一）专用人工智能取得重要突破。从可应用性看，人工智能大体可分为专用人工智能和通用人工智能。面向特定领域的人工智能技术（即专用人工智能）由于任务单一、需求明确、应用边界清晰、领域知识丰富、建模相对简单，因此形成了人工智能领域的单点突破，在局部智能水平的单项测试中可以超越人类智能。人工智能的近期进展主要集中在专用智能领域，统计学习是专用人工智能走向实用的理论基础。深度学习、强化学习、对抗学习等统计机器学习理论在计算机视觉、语音识别、自然语言理解、人机博弈等方面取得成功应用。例如，阿尔法狗在围棋比赛中战胜人类冠军，人工智能程序在大规模图像识别和人脸识别中达到了超越人类的水平，语音识别系统5.1%的错误率比肩专业速记员，人工智能系统诊断皮肤癌达到专业医生水平，等等。
（二）通用人工智能尚处于起步阶段。人的大脑是一个通用的智能系统，能举一反三、融会贯通，可处理视觉、听觉、判断、推理、学习、思考、规划、设计等各类问题，可谓“一脑万用”。真正意义上完备的人工智能系统应该是一个通用的智能系统。虽然包括图像识别、语音识别、自动驾驶等在内的专用人工智能领域已取得突破性进展，但是通用智能系统的研究与应用仍然是任重而道远，人工智能总体发展水平仍处于起步阶段。美国国防高级研究计划局（DefenseAdvancedResearchProjectsAgency，简称DARPA）把人工智能发展分为三个阶段：规则智能、统计智能和自主智能，认为当前国际主流人工智能水平仍然处于第二阶段，核心技术依赖于深度学习、强化学习、对抗学习等统计机器学习，AI系统在信息感知（Perceiving）、机器学习（Learning）等智能水平维度进步显著，但是在概念抽象（Abstracting）和推理决策（Reasoning）等方面能力还很薄弱。总体上看，目前的人工智能系统可谓有智能没智慧、有智商没情商、会计算不会“算计”、有专才无通才。因此，人工智能依旧存在明显的局限性，依然还有很多“不能”，与人类智慧还相差甚远。
（三）人工智能创新创业如火如荼。全球产业界充分认识到人工智能技术引领新一轮产业变革的重大意义，纷纷调整发展战略。比如，在其2017年的年度开发者大会上，谷歌明确提出发展战略从“MobileFirst”（移动优先）转向“AIFirst”（AI优先）；微软2017财年年报首次将人工智能作为公司发展愿景。人工智能领域处于创新创业的前沿，麦肯锡报告2016年全球人工智能研发投入超300亿美元并处于高速增长，全球知名风投调研机构CBInsights报告显示2017年全球新成立人工智能创业公司1100家，人工智能领域共获得投资152亿美元，同比增长141%。
（四）创新生态布局成为人工智能产业发展的战略高地。信息技术（IT）和产业的发展史就是新老IT巨头抢滩布局IT创新生态的更替史。例如，传统信息产业IT（InformationTechnology）代表企业有微软、英特尔、IBM、甲骨文等，互联网和移动互联网IT（InternetTechnology）代表企业有谷歌、苹果、脸书、亚马逊、阿里巴巴、腾讯、百度等，目前智能科技IT（IntelligentTechnology）的产业格局还没有形成垄断，因此全球科技产业巨头都在积极推动AI技术生态的研发布局，全力抢占人工智能相关产业的制高点。人工智能创新生态包括纵向的数据平台、开源算法、计算芯片、基础软件、图形处理GPU服务器等技术生态系统和横向的智能制造、智能医疗、智能安防、智能零售、智能家居等商业和应用生态系统。在技术生态方面，人工智能算法、数据、图形处理器（GraphicsProcessingUnit，简称GPU）/张量处理器（TensorProcessingUnit，简称TPU）/神经网络处理器（NeuralnetworkProcessingUnit，NPU）计算、运行/编译/管理等基础软件已有大量开源资源，例如谷歌的TensorFlow第二代人工智能学习系统、脸书的PyTorch深度学习框架、微软的DMTK分布式学习工具包、IBM的SystemML开源机器学习系统等；此外谷歌、IBM、英伟达、英特尔、苹果、华为、中国科学院等积极布局人工智能领域的计算芯片。在人工智能商业和应用生态布局方面，“智能+X”成为创新范式，例如“智能+制造”、“智能+医疗”、“智能+安防”等，人工智能技术向创新性的消费场景和不同行业快速渗透融合并重塑整个社会发展，这是人工智能作为第四次技术革命关键驱动力的最主要表现方式。人工智能商业生态竞争进入白热化，例如智能驾驶汽车领域的参与者既有通用、福特、奔驰、丰田等传统龙头车企，又有互联网造车者如谷歌、特斯拉、优步、苹果、百度等新贵。
（五）人工智能上升为世界主要国家的重大发展战略。人工智能正在成为新一轮产业变革的引擎，必将深刻影响国际产业竞争格局和一个国家的国际竞争力。世界主要发达国家纷纷把发展人工智能作为提升国际竞争力、维护国家安全的重大战略，加紧积极谋划政策，围绕核心技术、顶尖人才、标准规范等强化部署，力图在新一轮国际科技竞争中掌握主导权。无论是德国的“工业4.0”、美国的“工业互联网”、日本的“超智能社会”、还是我国的“中国制造2025”等重大国家战略，人工智能都是其中的核心关键技术。2017年7月，国务院发布了《新一代人工智能发展规划》，开启了我国人工智能快速创新发展的新征程。
（六）人工智能的社会影响日益凸显。人工智能的社会影响是多元的，既有拉动经济、服务民生、造福社会的正面效应，又可能出现安全失控、法律失准、道德失范、伦理失常、隐私失密等社会问题，以及利用人工智能热点进行投机炒作从而存在泡沫风险。首先，人工智能作为新一轮科技革命和产业变革的核心力量，促进社会生产力的整体跃升，推动传统产业升级换代，驱动“无人经济”快速发展，在智能交通、智能家居、智能医疗等民生领域发展积极正面影响。与此同时，我们也要看到人工智能引发的法律、伦理等问题日益凸显，对当下的社会秩序及公共管理体制带来了前所未有的新挑战。例如，2016年欧盟委员会法律事务委员会提交一项将最先进的自动化机器人身份定位为“电子人（electronicpersons）”的动议，2017年沙特阿拉伯授予机器人“索菲亚”公民身份，这些显然冲击了传统的民事主体制度。那么，是否应该赋予人工智能系统法律主体资格？另外在人工智能新时代，个人信息和隐私保护、人工智能创作内容的知识产权、人工智能歧视和偏见、无人驾驶系统的交通法规、脑机接口和人机共生的科技伦理等问题都需要我们从法律法规、道德伦理、社会管理等多个角度提供解决方案。
由于人工智能与人类智能密切关联且应用前景广阔、专业性很强，容易造成人们的误解，也带来了不少炒作。例如，有些人错误地认为人工智能就是机器学习（深度学习），人工智能与人类智能是零和博弈，人工智能已经达到5岁小孩的水平，人工智能系统的智能水平即将全面超越人类水平，30年内机器人将统治世界，人类将成为人工智能的奴隶，等等。这些错误认识会给人工智能的发展带来不利影响。还有不少人对人工智能预期过高，以为通用智能很快就能实现，只要给机器人发指令就可以干任何事。另外，有意炒作并通过包装人工智能概念来谋取不当利益的现象时有发生。因此，我们有义务向社会大众普及人工智能知识，引导政府、企业和广大民众科学客观地认识和了解人工智能。
四、人工智能的发展趋势与展望
人工智能经过六十多年的发展突破了算法、算力和算料（数据）等“三算”方面的制约因素，拓展了互联网、物联网等广阔应用场景，开始进入蓬勃发展的黄金时期。从技术维度看，当前人工智能处于从“不能用”到“可以用”的技术拐点，但是距离“很好用”还有数据、能耗、泛化、可解释性、可靠性、安全性等诸多瓶颈，创新发展空间巨大，从专用到通用智能，从机器智能到人机智能融合，从“人工+智能”到自主智能，后深度学习的新理论体系正在酝酿；从产业和社会发展维度看，人工智能通过对经济和社会各领域渗透融合实现生产力和生产关系的变革，带动人类社会迈向新的文明，人类命运共同体将形成保障人工智能技术安全、可控、可靠发展的理性机制。总体而言，人工智能的春天刚刚开始，创新空间巨大，应用前景广阔。
（一）从专用智能到通用智能。如何实现从狭义或专用人工智能（也称弱人工智能，具备单一领域智能）向通用人工智能（也称强人工智能，具备多领域智能）的跨越式发展，既是下一代人工智能发展的必然趋势，也是国际研究与应用领域的挑战问题。2016年10月美国国家科学技术委员会发布了《国家人工智能研究与发展战略计划》，提出在美国的人工智能中长期发展策略中要着重研究通用人工智能。DeepMind创始人戴密斯·哈萨比斯（DemisHassabis）提出朝着“创造解决世界上一切问题的通用人工智能”这一目标前进。微软在2017年7月成立了通用人工智能实验室，100多位感知、学习、推理、自然语言理解等方面的科学家参与其中。
（二）从人工智能到人机混合智能。人工智能的一个重要研究方向就是借鉴脑科学和认知科学的研究成果，研究从智能产生机理和本质出发的新型智能计算模型与方法，实现具有脑神经信息处理机制和类人智能行为与智能水平的智能系统。在美国、欧盟、日本等国家和地区纷纷启动的脑计划中，类脑智能已成为核心目标之一。英国工程与自然科学研究理事会EPSRC发布并启动了类脑智能研究计划。人机混合智能旨在将人的作用或认知模型引入到人工智能系统中，提升人工智能系统的性能，使人工智能成为人类智能的自然延伸和拓展，通过人机协同更加高效地解决复杂问题。人机混合智能得到了我国新一代人工智能规划、美国脑计划、脸书（脑机语音文本界面）、特斯拉汽车创始人埃隆·马斯克（人脑芯片嵌入和脑机接口）等的高度关注。
（三）从“人工+智能”到自主智能系统。当前人工智能的研究集中在深度学习，但是深度学习的局限是需要大量人工干预：人工设计深度神经网络模型、人工设定应用场景、人工采集和标注大量训练数据（非常费时费力）、用户需要人工适配智能系统等。因此已有科研人员开始关注减少人工干预的自主智能方法，提高机器智能对环境的自主学习能力。例如阿法元从零开始，通过自我对弈强化学习实现围棋、国际象棋、日本将棋的“通用棋类AI”。在人工智能系统的自动化设计方面，2017年谷歌提出的自动化学习系统（AutoML）试图通过自动创建机器学习系统降低AI人员成本。
（四）人工智能将加速与其他学科领域交叉渗透。人工智能本身是一门综合性的前沿学科和高度交叉的复合型学科，研究范畴广泛而又异常复杂，其发展需要与计算机科学、数学、认知科学、神经科学和社会科学等学科深度融合。随着超分辨率光学成像、光遗传学调控、透明脑、体细胞克隆等技术的突破，脑与认知科学的发展开启了新时代，能够大规模、更精细解析智力的神经环路基础和机制，人工智能将进入生物启发的智能阶段，依赖于生物学、脑科学、生命科学和心理学等学科的发现，将机理变为可计算的模型，同时人工智能也会促进脑科学、认知科学、生命科学甚至化学、物理、材料等传统科学的发展。例如，2018年美国麻省理工学院启动的“智能探究计划”（MITIntelligenceQuest）就联合了五大学院进行协同攻关。
（五）人工智能产业将蓬勃发展。随着人工智能技术的进一步成熟以及政府和产业界投入的日益增长，人工智能应用的云端化将不断加速，全球人工智能产业规模在未来十年将进入高速增长期。例如，2016年9月，咨询公司埃森哲发布报告指出，人工智能技术的应用将为经济发展注入新动力，在现有基础上能够提高劳动生产率40%；美、日、英、德、法等12个发达国家（现占全球经济总量的一半）到2035年，年经济增长率平均可以翻一番。2018年麦肯锡的研究报告表明到2030年人工智能新增经济规模将达到13万亿美元。
（六）人工智能将推动人类进入普惠型智能社会。“人工智能+X”的创新模式将随着技术和产业的发展日趋成熟，对生产力和产业结构产生革命性影响，并推动人类进入普惠型智能社会。2017年国际数据公司IDC在《信息流引领人工智能新时代》白皮书中指出未来五年人工智能提升各行业运转效率，其中教育业提升82%，零售业71%，制造业64%，金融业58%。我国经济社会转型升级对人工智能有重大需求，在消费场景和行业应用的需求牵引下，需要打破人工智能的感知瓶颈、交互瓶颈和决策瓶颈，促进人工智能技术与社会各行各业的融合提升，建设若干标杆性的应用场景创新，实现低成本、高效益、广范围的普惠型智能社会。
（七）人工智能领域的国际竞争将日趋激烈。“未来谁率先掌握人工智能，谁就能称霸世界”。2018年4月，欧盟委员会计划2018-2020年在人工智能领域投资240亿美元；法国总统在2018年5月宣布《法国人工智能战略》，目的是迎接人工智能发展的新时代，使法国成为人工智能强国；2018年6月，日本《未来投资战略》重点推动物联网建设和人工智能的应用。世界军事强国已逐步形成以加速发展智能化武器装备为核心的竞争态势，例如美国特朗普政府发布的首份《国防战略》报告即提出谋求通过人工智能等技术创新保持军事优势，确保美国打赢未来战争；俄罗斯2017年提出军工拥抱“智能化”，让导弹和无人机这样的“传统”兵器威力倍增。
（八）人工智能的社会学将提上议程。水能载舟，亦能覆舟。任何高科技也都是一把双刃剑。随着人工智能的深入发展和应用的不断普及，其社会影响日益明显。人工智能应用得当、把握有度、管理规范，就能有效控制负面风险。为了确保人工智能的健康可持续发展并确保人工智能的发展成果造福于民，需要从社会学的角度系统全面地研究人工智能对人类社会的影响，深入分析人工智能对未来经济社会发展的可能影响，制定完善的人工智能法律法规，规避可能风险，确保人工智能的正面效应。2017年9月，联合国犯罪和司法研究所(UNICRI)决定在海牙成立第一个联合国人工智能和机器人中心，规范人工智能的发展。2018年4月，欧洲25个国家签署了《人工智能合作宣言》，从国家战略合作层面来推动人工智能发展，确保欧洲人工智能研发的竞争力，共同面对人工智能在社会、经济、伦理及法律等方面的机遇和挑战。
五、我国人工智能的发展态势与思考
我国当前人工智能发展的总体态势良好。中国信通院联合高德纳咨询公司（Gartner）于2018年9月发布的《2018世界人工智能产业发展蓝皮书》报告统计，我国（不含港澳台地区）人工智能企业总数位列全球第二（1040家），仅次于美国（2039家）。在人工智能总体水平和应用方面，我国也处于国际前列，发展潜力巨大，有望率先突破成为全球领跑者。但是我们也要清醒地看到，我国人工智能发展存在过热和泡沫化风险，特别在基础研究、技术体系、应用生态、创新人才、法律规范等方面仍然存在不少问题。总体而言，我国人工智能发展现状可以用“高度重视，态势喜人，差距不小，前景看好”来概括。
一是高度重视。党和国家高度重视并大力发展人工智能。党的十八大以来，习近平总书记把创新摆在国家发展全局的核心位置，高度重视人工智能发展，多次谈及人工智能的重要性，为人工智能如何赋能新时代指明方向。2016年7月习总书记明确指出，人工智能技术的发展将深刻改变人类社会生活，改变世界，应抓住机遇，在这一高技术领域抢占先机。在党的十九大报告中，习总书记强调“要推动互联网、大数据、人工智能和实体经济深度融合”。在2018年两院院士大会上，习总书记再次强调要“推进互联网、大数据、人工智能同实体经济深度融合，做大做强数字经济”。在2017年和2018年的《政府工作报告》中，李克强总理都提到了要加强新一代人工智能发展。2017年7月，国务院发布了《新一代人工智能发展规划》，将新一代人工智能放在国家战略层面进行部署，描绘了面向2030年的我国人工智能发展路线图，旨在构筑人工智能先发优势，把握新一轮科技革命战略主动，人工智能将成为今后一段时期的国家重大战略。发改委、工信部、科技部、教育部、中央网信办等国家部委和北京、上海、广东、江苏、浙江等地方政府都推出了发展人工智能的鼓励政策。
二是态势喜人。根据2017年爱思唯尔（Elsevier）文献数据库SCOPUS统计结果，我国在人工智能领域发表的论文数量已居世界第一。从2012年开始，我国在人工智能领域新增专利数量已经开始超越美国。据清华大学发布的《中国人工智能发展报告2018》统计，我国已成全球人工智能投融资规模最大国家，我国人工智能企业在人脸识别、语音识别、安防监控、智能音箱、智能家居等人工智能应用领域处于国际前列。近两年，清华大学、北京大学、中国科学院大学、浙江大学、上海交通大学、南京大学等高校纷纷成立人工智能学院。2015年开始的中国人工智能大会（CCAI）已连续成功召开四届、规模不断扩大，人工智能领域的教育、科研与学术活动层出不穷。
三是差距不小。我国人工智能在基础研究、原创成果、顶尖人才、技术生态、基础平台、标准规范等方面距离世界领先水平还存在较大差距。英国牛津大学2018年的一项研究报告指出中国的人工智能发展能力大致为美国的一半水平。目前我国在人工智能前沿理论创新方面总体上尚处于“跟跑”地位，大部分创新偏重于技术应用，存在“头重脚轻”的不均衡现象。在Top700全球AI人才中，中国虽然名列第二，但入选人数远远低于占一半数量的美国。据领英《全球AI领域人才报告》统计，截至2017年一季度全球人工智能领域专业技术人才数量超过190万，其中美国超过85万，我国仅超过5万人，排名全球第7位。2018年市场研究顾问公司CompassIntelligence对全球100多家AI计算芯片企业进行了排名，我国没有一家企业进入前十。另外，我国人工智能开源社区和技术生态布局相对滞后，技术平台建设力度有待加强，国际影响力有待提高。我国参与制定人工智能国际标准的积极性和力度不够，国内标准制定和实施也较为滞后。我国制定完善人工智能相关法律法规的进程需要加快，对可能产生的社会影响还缺少深度分析。
四是前景看好。我国发展人工智能具有市场规模、应用场景、数据资源、人力资源、智能手机普及、资金投入、国家政策支持等多方面的综合优势，人工智能发展前景看好。全球顶尖管理咨询公司埃森哲于2017年发布的《人工智能：助力中国经济增长》报告显示，到2035年人工智能有望推动中国劳动生产率提高27%。我国发布的《新一代人工智能发展规划》提出到2030年，人工智能核心产业规模超过1万亿元，带动相关产业规模超过10万亿元。在我国未来的发展征程中，“智能红利”将有望弥补人口红利的不足。
人类社会已开始迈入智能化时代，人工智能引领社会发展是大势所趋，不可逆转。经历六十余年积累后，人工智能开始进入爆发式增长的红利期。伴随着人工智能自身的创新发展和向经济社会的全面渗透，这个红利期将持续相当长的时期。现在是我国加强人工智能布局、收获人工智能红利、引领智能时代的重大历史机遇期，如何在人工智能蓬勃发展的浪潮中选择好中国路径、抢抓中国机遇、展现中国智慧需要深入思考。
（一）树立理性务实的发展理念。围棋人机大战中阿尔法狗战胜李世石后，社会大众误以为人工智能已经无所不能，一些地方政府、社会企业、风险资金因此不切实际一窝蜂发展人工智能产业，一些别有用心的机构则有意炒作并通过包装人工智能概念来谋取不当利益。这种“一拥而上、一哄而散”的跟风行为不利于人工智能的健康可持续发展。任何事物的发展不可能一直处于高位，有高潮必有低谷，这是客观规律。根据高德纳咨询公司发布的技术发展曲线，当前智能机器人、认知专家顾问、机器学习、自动驾驶等人工智能热门技术与领域正处于期望膨胀期，但是通用人工智能及人工智能的整体发展仍处于初步阶段，人工智能还有很多“不能”，实现机器在任意现实环境的自主智能和通用智能仍然需要中长期理论和技术积累，并且人工智能对工业、交通、医疗等传统领域的渗透和融合是个长期过程，很难一蹴而就。因此发展人工智能不能以短期牟利为目的，要充分考虑到人工智能技术的局限性，充分认识到人工智能重塑传统产业的长期性和艰巨性，理性分析人工智能发展需求，理性设定人工智能发展目标，理性选择人工智能发展路径，并务实推进人工智能发展举措，只有这样才能确保人工智能健康可持续发展。
（二）加强基础扎实的原创研究。人工智能前沿基础理论是人工智能技术突破、行业革新、产业化推进的基石。在此发展的临界点，要想取得最终的话语权，必须在人工智能基础理论和前沿技术方面取得重大突破。根据2017年爱思唯尔文献数据库SCOPUS统计结果，尽管我国在人工智能领域发表的论文数量已经排名世界第一，但加权引文影响力则只排名34位。为了客观评价我国在人工智能基础研究方面的整体实力，我们搜索了SCI期刊、神经信息处理系统大会（ConferenceonNeuralInformationProcessingSystems，简称NIPS）等主流人工智能学术会议关于通用智能、深度学习、类脑智能、脑智融合、人机博弈等关键词的论文统计情况，可以清楚看到在人工智能前沿方向中国与美国相比基础实力存在巨大差距：在高质量论文数量方面（按中科院划定的SCI一区论文标准统计），美国是中国的5.34倍（1325:248）；在人才储备方面（SCI论文通讯作者），美国是中国的2.12倍（4804:2267）。
我国应对标国际最高水平，建设面向未来的人工智能基础科学研究中心，重点发展原创性、基础性、前瞻性、突破性的人工智能科学。应该鼓励科研人员瞄准人工智能学科前沿方向开展引领性原创科学研究，通过人工智能与脑认知、神经科学、心理学等学科的交叉融合，重点聚焦人工智能领域的重大基础性科学问题，形成具有国际影响力的人工智能原创理论体系，为构建我国自主可控的人工智能技术创新生态提供领先跨越的理论支撑。
（三）构建自主可控的创新生态。美国谷歌、IBM、微软、脸书等企业在AI芯片、服务器、操作系统、开源算法、云服务、无人驾驶等方面积极构建创新生态、抢占创新高地，已经在国际人工智能产业格局中占据先机。我国人工智能开源社区和技术创新生态布局相对滞后，技术平台建设力度有待加强，国际影响力有待提高。美国对中兴通讯发禁令一事充分说明自主可控“核高基”技术的重要性，我国应该吸取在核心电子器件、高端通用芯片及基础软件方面依赖进口的教训，避免重蹈覆辙，着力防范人工智能时代“空心化”风险，系统布局并重点发展人工智能领域的“新核高基”：“新”指新型开放创新生态，如军民融合、产学研融合等；“核”指核心关键技术与器件，如先进机器学习技术、鲁棒模式识别技术、低功耗智能计算芯片等；“高”指高端综合应用系统与平台，如机器学习软硬件平台、大型数据平台等；“基”指具有重大原创意义和技术带动性的基础理论与方法，如脑机接口、类脑智能等。
另外，我们需要重视人工智能技术标准的建设、产品性能与系统安全的测试。特别是我国在人工智能技术应用方面走在世界前列，在人工智能国际标准制定方面应当掌握话语权，并通过标准实施加速人工智能驱动经济社会转型升级的进程。
（四）建立协同高效的创新体系。我国经济社会转型升级对人工智能有重大需求，但是单一的创新主体很难实现政策、市场、技术、应用等方面的全面突破。目前我国学术界、产业界、行业部门在人工智能发展方面各自为政的倾向比较明显，数据资源开放共享不够，缺少对行业资源的有效整合。相比而言，美国已经形成了全社会、全场景、全生态协同互动的人工智能协同创新体系，军民融合和产学研结合都做得很好。我国应在体制机制方面进一步改革创新，建立“军、政、产、学、研、用”一体的人工智能协同创新体系。例如，国家进行顶层设计和战略规划，举全国优势力量设立军事智能的研发和应用平台，提供“人工智能+X”行业融合、打破行业壁垒和行政障碍的激励政策；科技龙头企业引领技术创新生态建设，突破人工智能的重大技术瓶颈；高校科研机构进行人才培养和原始创新，着力构建公共数据资源与技术平台，共同建设若干标杆性的应用创新场景，推动成熟人工智能技术在城市、医疗、金融、文化、农业、交通、能源、物流、制造、安全、服务、教育等领域的深度应用，建设低成本高效益广范围的普惠型智能社会。
（五）加快创新人才的教育培养。发展人工智能关键在人才，中高端人才短缺已经成为我国人工智能做大做强的主要瓶颈。另外，我国社会大众的人工智能科技素养也需要进一步提升，每一个人都需要去适应人工智能时代的科技浪潮。在加强人工智能领军人才培养引进的同时，要面向技术创新和产业发展多层次培养人工智能创新创业人才。《新一代人工智能发展规划》提出逐步开展全民智能教育项目，在中小学阶段设置人工智能课程。目前人工智能科普活动受到各地学校的欢迎，但是缺少通俗易懂的高质量人工智能科普教材、寓教于乐的实验设备和器材、开放共享的教学互动资源平台。国家相关部门应高度重视人工智能教育领域的基础性工作，增加投入，组织优势力量，加强高水平人工智能教育内容和资源平台建设，加快人工智能专业的教学师资培训，从教材、教具、教师等多个环节全面保障我国人工智能教育工作的开展。
（六）推动共担共享的全球治理。人工智能将重塑全球政治和经济格局，发达国家通过人工智能技术创新掌控了产业链上游资源，难以逾越的技术鸿沟和产业壁垒有可能将进一步拉大发达国家和发展中国家的生产力发展水平差距。美国、日本、德国等通过人工智能和机器人的技术突破和广泛应用弥补他们的人力成本劣势，希望制造业从新兴国家回流发达国家。目前看，我国是发展中国家阵容中唯一有望成为全球人工智能竞争中的领跑者，应采取不同于一些国家的“经济垄断主义、技术保护主义、贸易霸凌主义”路线，尽快布局构建开放共享、质优价廉、普惠全球的人工智能技术和应用平台，配合国家“一带一路”战略，向亚洲、非洲、南美等经济欠发达地区输出高水平、低成本的“中国智造”成果、提供人工智能时代的中国方案，为让人工智能时代的“智能红利”普惠人类命运共同体做出中国贡献！
（七）制定科学合理的法律法规。要想实实在在收获人工智能带来的红利，首先应保证其安全、可控、可靠发展。美国和欧洲等发达国家和地区十分重视人工智能领域的法律法规问题。美国白宫多次组织这方面的研讨会、咨询会；特斯拉等产业巨头牵头成立OpenAI等机构，旨在以有利于整个人类的方式促进和发展友好的人工智能；科研人员自发签署23条“阿西洛马人工智能原则”，意图在规范人工智能科研及应用等方面抢占先机。我国在人工智能领域的法律法规制定及风险管控方面相对滞后，这种滞后局面与我国现阶段人工智能发展的整体形势不相适应，并可能成为我国人工智能下一步创新发展的一大掣肘。因此，有必要大力加强人工智能领域的立法研究，制定相应的法律法规，建立健全公开透明的人工智能监管体系，构建人工智能创新发展的良好法规环境。
（八）加强和鼓励人工智能社会学研究。人工智能的社会影响将是深远的、全方位的。我们当未雨绸缪，从国家安全、社会治理、就业结构、伦理道德、隐私保护等多个维度系统深入研究人工智能可能的影响，制定合理可行的应对措施，确保人工智能的正面效应。应大力加强人工智能领域的科普工作，打造科技与伦理的高效对话机制和沟通平台，消除社会大众对人工智能的误解与恐慌，为人工智能的发展营造理性务实、积极健康的社会氛围。
六、结束语
人工智能经过60多年的发展，进入了创新突破的战略机遇期和产业应用的红利收获期，必将对生产力和产业结构以及国际格局产生革命性影响，并推动人类进入普惠型智能社会。但是，我们需要清醒看到通用人工智能及人工智能的整体发展仍处于初级阶段，人工智能不是万能，人工智能还有很多“不能”。我们应当采取理性务实的发展路径，扎实推进基础研究、技术生态、人才培养、法律规范等方面的工作，在开放中创新，在创新中发展，全速跑赢智能时代，着力建设人工智能科技强国！
（主讲人系中国科学院院士）
人工智能威胁论:逻辑考察与哲学辨析
中德两国正在共同打造具有跨时代意义的“工业4.0”,该项目号称“第四次工业革命”,主导方向是智能制造,推动制造业向智能化转型。人工智能是未来工业转型的重要助推器,不仅在工业制造领域扮演重要角色,而且必将成为革新我们生活方式的未来趋势,全方位地重塑我们的生活。人工智能发展速度令人惊叹,很多人工智能专家系统在一些领域已经极大地超越了人类,比如我们所熟知的AlphaGo完胜世界顶尖围棋选手,它的升级版AlphaZero在短时间内就超越了上一代,并“精通”各种棋类。更令人匪夷所思的是,DeepMind推出了能够从事“科研”的AlphaFold,通过基因序列,成功预测出蛋白质的3D形状。人工智能的迅猛发展引发了一些学者的担忧,他们担心人工智能如果以这样的惊人速度发展下去,是否会产生情感认知因素,更具体地说,会不会产生不友好的动机。像科幻电影《终结者》中的情节那般,人工智能奴役、毁灭人类。我们可以通过构造一个驳斥人工智能威胁论的溯因推理结构,证明人工智能威胁论信念是基于不可靠的归纳论证;而以哲学的视角看,可以将人工智能威胁论视为一种信念。鉴于该信念达成之后的灾难性后果,有必要采取适当的防范策略。
一、通向乌托邦还是奴役之路我们目前无法确定人工智能是否是一个潘多拉之盒,但它必定是一个黑箱,至少现在无法预测人工智能的走向。根据当前的发展态势,有部分学者对人工智能的前景持积极乐观的态度,他们认为人工智能会实现技术的乌托邦,人将得到最大限度的解放。他们指出,人工智能所有的知识都是人类“喂给”的,其自身无法创造新的明述知识或命题性知识,而且人工智能的学习能力基于算法而不是社会交往[1]。所以,人工智能只是人类器官的投影和延伸,它们不会出现自主意识,更不会出现社群组织,不会对人类产生危害[2]。一种心智考古学的观点认为,一个能够自主地威胁人类的人工智能体首先必须是一个具有自治情感的生命系统,智能只是心智的一个子集,没有情感系统的引导,智能就不会发挥作用。因此人工智能体不会对人类产生生存威胁[3]。还有一部分人则对人工智能发展到高阶水平的可能后果充满担忧,他们预言人工智能将是人类的终结者。国内学者以江晓原为代表,他认为人工智能近期的威胁会导致大量工人失业,以及军事化用途所带来的世界格局震荡。长远的威胁就是人工智能的失控和反叛[4-5]。我们把这种论调称为人工智能威胁论。
近年来,人工智能威胁论的支持者越来越多。其中不乏一些著名科学家和知名人物,如史蒂芬·霍金(StephenHawking)、迈克斯·泰格马克(MaxTegmark)和伊隆·马斯克(ElonMusk)等。马斯克曾多次在推特上发长文警告,人工智能可能是人类有史以来最为严峻的生存威胁。霍金指出,人工智能的崛起要么是最好的,要么就是最糟糕的。
一些研究中心或智库开始研究人工智能可能带来的风险,牛津大学的“人类未来研究所”是目前最具代表性的技术风险研究机构,下设“人工智能政策研究中心”。泰格马克牵头在麻省理工学院成立了类似的机构:“生命未来研究所”。剑桥大学成立了“利弗休姆未来智能研究中心”。北京大学于2018年11月成立了“北京大学人类未来研究中心”……。此外,许多科技企业纷纷成立人工智能研究部门,探讨人工智能的未来前景。
当谈到人工智能威胁论的时候,我们到底针对的是人工智能的哪些方面或哪个阶段。学界粗略地将人工智能分为三个阶段:弱人工智能(artificialnarrowintelligence)、强人工智能(artificialgeneralintelligence)和超级人工智能(artificialsuperintelligence)。弱人工智能只擅长某一具体领域,强人工智能适用范围要更大,能与人类智能比肩;而超级人工智能是机器智能的顶峰,牛津大学“人类未来研究所”所长、人工智能思想家尼克·波斯特洛姆(NickBostrom)把超级人工智能定义为“在几乎所有领域远远超过人类的认知能力”[6]29。人工智能拥有巨大的潜力,它可以让人类永生,抑或彻底灭绝。所以当我们言及人工智能威胁论时,主要针对的是超级人工智能。这种威胁论主要基于以下三个前提。
第一个前提认为,最先被创造出来的超级人工智能与包括人类智能在内的所有其他形式的智能相比,拥有决定性的战略优势。这种优势足以使超级人工智能控制并塑造地球上所有智能生命的未来。如果超级人工智能是友好良善的,那么我们无须担心。但根据波斯特洛姆的说法,我们没有任何理由认为它是友好的。第二个前提指出,智能水平和善行之间没有必然关系。但智能水平与其终级目标有着一定的相关性:几乎任何水平的智力都与它的最终目标相一致。波斯特洛姆构想的“曲别针最大化”(paperclipmaximiser)思想实验生动地阐释了这一点,如果超级人工智能确定一个目标,就会最大化地实现这个目标。假如它的目标是制造曲别针,那它会尽可能地制造更多的曲别针[6]153。第三个前提指出,超级人工智能很可能设定一些与人类利益无关的目标。比如它可能会执着于获取广泛的资源,其中可能包括人类赖以生存的资源。
就已发表的相关文献来看,波斯特洛姆的专著《超级智能:路线图、危险性与应对策略》代表了这一趋势的典范。波斯特洛姆在书中详细论述了超级人工智能得以实现的几种形式、可能存在的风险、应对措施等。泰格马克的大部头著作《生命3.0:人工智能时代而为人的意义》呈现了一幅专业物理学家对人工智能的展望图景。书中对人类的未来作出了最大胆的想象,构造了对未来生命、科技、文化和社会的全新理解。泰格马克追问人类到底能发展到什么极限?人类到底要走向哪里?“生命3.0”体现了“生命”系统从1.0到2.0,再到3.0的更迭。生命1.0是简单生物阶段;生命2.0是文化阶段,人类就是生命2.0的代表;生命3.0则是科技时代,系统不断地升级自己的软件和硬件,直接跳跃漫长的自然进化,堪称智能系统全面觉醒的阶段。比起有血肉的生命之躯,届时便产生了新的“生命”[7]27。泰格马克担忧新“生命”会与旧生命发生冲突。这些担忧是杞人忧天的无稽之谈,还是有着坚实的经验基础?我们接下来做一番考察。
二、驳斥人工智能威胁论的溯因推理论证我们可以尝试着构造一个溯因推理结构反驳人工智能威胁论。这个论证结构是这样的:如果威胁论者们认为人工智能在未来会对人类生存构成致命威胁,那么它必然要拥有善恶、喜恶这样的认知情感因素,它甚至可能会伪装。我们进一步追问,人工智能何以拥有像“动机”这样的情感认知功能,我们选定一种可能的实现途径:全脑仿真。这项技术的实现又依赖智能设备运算能力的“指数爆炸”假设;而该假设目前的成功基于归纳,不具备必然可靠性。
1.预测人工智能善恶的归纳论证有学者对人工智能威胁论提出质疑,他们对波斯特洛姆的观点提出了一个明显的反驳:为了确保人工智能的安全使用,将人工智能应用于实践之前,必须对其进行严格测试,验证它是否友好。这样做的目的是将人工智能限制在一个安全可控的环境中,并反复测试它的友好属性和安全性。建造一个模拟真实场景的“沙盒”,当我们在实验环境中做了足够多的测试,验证它是友好、合作、负责任之后,才会把它从“沙盒”中释放出来[6]145。在一个高度仿真的实验环境中,反复经验检测,如果发现人工智能看起来没有威胁,那么我们就有理由相信它是友好的。这里的推理模式属于典型的归纳论证。
波斯特洛姆试图回击这个论证,他提出了“背叛转折”(treacherousturn)概念[6]147。即超级智能化的人工智能会运用策略,它在实施计划的同时,还会预测人类的反应。我们从人与人之间的日常交流中可以发现,人们为了达成目标,有时会欺骗他人。例如,某人可以假装对他同事的尖端研究缺乏兴趣,希望同事会信赖他,向他披露所有的研究细节,然后他就能窃取同事的成果,据为己有。超级人工智能是否也会做同样的事呢?难道它们没有意识到,我们正在测试它们?难道它们就不会采取假装友好的策略来走出困境吗?
一个人工智能体看似完全友好,与人类合作并保护人类的利益,但它实际上可能筹备着威胁人类生存的长远计划。在欺骗我们陷入虚假的安全感之后,超级人工智能可能会触发背叛转折。所以,质疑人工智能威胁论的归纳论证在“背叛转折”原则下失效。然而,该原则预设了一个前提:人工智能系统具备很强的自主性,甚至能够产生坏的“动机”。那么,人工智能可否发展出诸如“动机”这样的情感要素呢?
2.人工智能的“动机”论何以成立针对超级人工智能“动机”论的质疑,波斯特洛姆予以了回应。他认为:“只要具有足够的智能升级能力,所有其他智能就都在系统的间接方式范围内,因为系统能够开发所需的新的认知模块和技能。”[6]112如此一来,波斯特洛姆就把人类的各种认知能力视为智能系统内化的功能,随着智能升级,这些功能便随之开发出来。波斯特洛姆并没有直面质疑,没有解释超级人工智能为何会产生“动机”。其实,这里涉及一个更为复杂的问题,就是人工智能是否会拥有意识,如果拥有意识,是依靠何种方式实现的。倘若我们不首先说明人工智能的“意识”来源及可能性,那么讨论人工智能的动机,必是漫天猜想,没有理据可循。
波斯特洛姆曾提出过超级人工智能的五种可能实现形式:人工智能、全脑仿真、生物认知、人机交互、网络和组织。其中,生物认知基于这样一个观念:生物技术的进步可能会直接控制人类遗传学和神经生物学,而无须实施人类优生繁衍计划。简言之,就是通过生物技术对人体进行无限改造,以提升人类智能。人机交互与网络和组织也是类似的原理,人机交互意图将机器智能和人脑互联,大幅度提升人脑的能力,网络和组织则企图通过技术手段把人脑连接在一起,形成强大的集体智能[6]37-52。这三种途径都强调对人类智能的增强和提升,属于人类增强的范畴,因为在这样的智能形式中,人脑依旧是主体,增强的是人类智能,而非人工的智能体。这样的超级智能必然会保有人类的各种认知能力,不在我们讨论范围内。
所以,严格意义上说,超级人工智能只有两种可能的实现途径:人工智能和全脑仿真。人工智能途径就是现在所采用的主流方式,依赖算法和硬件的提升。人工智能在“情商”的学习过程中,效率有余,效果不足。微软的人工智能“微软小冰”在2017年出版了一本所谓的题名为《阳光失了玻璃窗》的“诗集”。我们来看其中的一首标题为“黄昏里来了一碗茶”的“现代诗”:黄昏里来了一碗茶/回家一齐看/嘴里的妻子已失去了/让野火的人们/风景如风车里一碗茶凉/是少年的故事/回家一年的时候/我猜我也一例有敌骑的呼声晌[8]14。这里的诗歌“意象”更多的是句型与词汇随机混搭生成的“后现代风格”,不能展现人类诗歌才有的情感张力。故而有人批评人工智能有智商而无情商,有智能而无智慧。智能系统要想发展出自主意识,仅靠算法无法达成,可能需要借助全脑仿真技术。这项技术可能完全模拟出被模仿对象的大脑活动,然后加以原理化,但这种技术建立在强大的硬件基础上。接下来又产生了一个新的问题,硬件升级速度能否跟上人工智能的发展?
3.“指数爆炸”的迷雾其实全脑仿真有一个前提,即大脑本质上是“计算”的,并且能够被模拟。这里涉及到诸多哲学议题,我们不做深究,暂且假定该前提成立。波斯特洛姆认为全脑仿真不需要理论上的突破,但需要一些非常先进的技术。他认为实现这项技术须满足三个先决条件:扫描、翻译和模拟。其中扫描需要有足够分辨率和相关检测性能的高通量显微镜,模拟则需要强大的硬件。以上两项先决条件能否满足,很大程度上取决我们能否制造出性能优越的硬件设备。
众所周知,硬件迭代速度依赖“指数爆炸”假设。“指数爆炸”原指指数函数的爆炸性增长。此后借用到计算机领域,一般与“摩尔定律”同义,表示计算机的计算能力将在固定的周期内以指数形式提升。从第一台现代意义上的计算机诞生至今,计算机运算能力的发展符合“指数爆炸”。我们就拿目前的超级计算机领域来说,超算的运算能力大约每14个月提升一倍。超级计算机代表着目前计算机设备性能的最高水平。2018年6月,IBM公司助力美国田纳西州橡树岭国家实验室推出了一台名为“Summit”的超级计算机,计算峰值惊人,每秒可执行21017次运算,其性能远超我国研发的神威·太湖。倘若超级计算机的发展一直符合“摩尔定律”,那么似乎就能满足全脑仿真技术在硬件上的要求。但这个推理模式是典型的归纳论证,基于目前的发展水平来推断未来发展速度依旧保持不变。更为严峻的是,“摩尔定律”已经遇到瓶颈,芯片制造已经接近物理极限,经济成本不降反升。由此,我们认为人工智能威胁论论题站不住脚。
对人工智能威胁论的批评还有很多,其中凯文·凯利(KevinKelly)认为我们把智能误解为可以无限增长的空间,反对算力和智能之间存在正相关关系。至于人工智能最终发展到像电影《超验骇客》那般无所不能的地步,他将这种过分夸大、毫无根据的观点称为“意淫主义”(thinkism)[9]。我们充其量只能将人工智能威胁论视为一种信念,我们可以选择相信它为真,但却很难辩护其为真。
三、人工智能威胁论与帕斯卡赌倘若我们将人工智能威胁论仅仅视做一种信念,会产生积极的启示作用吗?有些人会嗤之以鼻,因为该信念带有某种神秘的宗教色彩。还有一些学术评论员批评未来学家雷·库茨韦尔(RayKurzweil)提出的所谓“奇点”临近,因为他们的信念体系是信仰主义的,即基于信仰或缺乏合理的论证基础[10]。
我们可以尝试将人工智能威胁论信念与上帝存在的信念作一番类比。后者是宗教学领域中争论的焦点之一,前者可以看做是科学领域中的预言。这两个信念都有一个共同的特点,被证明为真的概率极低,并且假如我们先前拒斥该信念,但后来证明为真,其后果是毁灭性的。比如说,我们无法证明上帝存在,因为根据现有的科学理论体系,假想一位有形体有人格的全能神似乎是一件很荒谬的事情。倘若上帝不存在,我们在世间纵情享乐,不信奉任何教义,那相信上帝存在与否于我们都没有影响。但如果上帝存在,不信上帝存在者虽然享受了短暂的快乐,死后则会坠入地狱,遭受无穷无尽的折磨。既然如此,我们是选择相信上帝存在呢,抑或拒斥?这就是帕斯卡诉诸信仰的论证上帝存在之路径。帕斯卡将相信上帝存在与否视为一场赌博,是赌博就会有输赢,虽然赌徒不知道赌局的结果如何,但他知道输赢的奖励和惩罚,也就是“赌注”,所以赌徒会权衡利弊,然后决定选择是否相信上帝存在。类似地,我们可以将帕斯卡赌应用于人工智能威胁论。显然,人工智能威胁论信念到底有多大概率为真,我们无法预测,但倘若该信念成真,那么后果是无法估量的。正如波斯特洛姆所定义的“存在风险”(existentialrisk)威胁着地球上智慧生命的根本福祉,它具有潜在的“毁灭性的”或“地狱般的”影响[11]。波斯特洛姆的末日预言暗示了超级聪明的人工智能可能会给人类带来灭顶之灾。因此,波斯特洛姆认为,即便现有的种种证据都不利于人工智能威胁论,其发生的总体概率很低,但背叛转折依旧不容忽视。
诚然,在相信上帝存在的承诺和人工智能威胁论的承诺之间存在一些明显的区别。相信上帝存在的承诺是一种朴素的宗教信念,是一种对现实的终极本质和原因的信仰,信仰者可以诉诸非理性的方式;而人工智能威胁论的信念是对某项科技发展后果的信念,这种信念基于一定的经验基础,基于对现有科技成就的评估和预测[12]。宗教信念与科学信念不能划等号,此处类比只是较弱层面上的。
我们通过更深入地考察“背叛转折”,可以发掘人工智能威胁论信念的一些实践意义和认知意义。超级人工智能可能会设定对人类不友好的目标,可能会欺骗我们,用邪恶的方式来达成目标。必定会有人批评波斯特洛姆的“背叛转折”,其观点违反我们的直觉。但正是这种反常观念,才会迫使我们反思科学成功的合理性,重新评估我们习惯性地使用的各种归纳推理。肯定“背叛转折”就要质疑科学取得成功所依赖的主要推理工具,此举难以让人接受,因为在人工智能领域中,归纳推理不仅能够解决复杂情况,而且还相当可靠。但我们试着转换视角,其实人工智能威胁论和休谟的怀疑论有着相似的旨趣。在休谟的经验怀疑主义看来,我们不能根据我们迄今为止吃的面包有营养,就推断出接下来吃的面包也会有营养。在波斯特洛姆看来,我们无论在广度、深度,抑或接触时间上,与人工智能的互动极为有限,所以我们无法断言人工智能未来依旧安全,更何况目前无人智能驾驶系统事故频出。在某种程度上,我们能够理解休谟问题背后的深刻哲理,在具体实践中,却容易忽视归纳推理的固有缺陷。对归纳合理性的审视,促使我们思考人工智能威胁论信念折射出的深刻蕴义,提防“背叛转折”。
即使是那些希望我们认真对待人工智能风险的人也会争辩说,人工智能威胁论的一些观点似乎危言耸听。他们指出,超级人工智能可能会有不可控风险,但也有巨大的益处。几乎没有人会怀疑人工智能的社会变革力量,我们现在更需要关注的是如何理解、应对人工智能的潜在风险。像波斯特洛姆、泰格马克等等这样的威胁论者和未来预言家免不了充斥着天马行空的想象,但他们以这种方式呈现出人工智能的可能威胁,提醒我们在充分发展人工智能时,警惕“背叛转折”风险,彰显了人工智能威胁论的认知与实践意义。
四、规避人工智能潜在风险及其挑战我们正处于弱人工智能阶段,针对人工智能的一些建议性政策主要集中在司法审判、大数据隐私、机器人伦理等具体的应用问题上,很少有预防人工智能发展到较高阶段威胁人类生存的策略。
人工智能价值观的加载问题是目前学术界讨论较多的议题。即如果我们给人工智能系统设定一套代码形式的价值观,可否确保人工智能不会偏离正常的发展轨迹。学者们之所以尤为关注该议题,是因为我们通过监视超级人工智能的程序运行预测其动机的方式行不通。正如波斯特洛姆所言:一个不友好的人工智能可能会变得足够聪明,能够意识到隐藏自己的一些能力会获得更大的收益。它可能不会显露进步,并故意放弃一些难度较大的测试,以避免在获得决定性的战略优势之前引起恐慌。程序员试图通过秘密监视人工智能的源代码和它的内部工作来防范这种可能性,但是一个足够聪明的人工智能会意识到它可能被监视,并相应地调整它的应对策略。监视超级人工智能行为的路径走不通,从源头入手,似乎更为行之有效。霍金一语道出了要害:“尽管人工智能的短期影响取决于控制人工智能的人,它的长期影响取决于人工智能到底能否受到控制。”[13]让人工智能戴上像阿西莫夫构想的机器人三定律式的“紧箍咒”,是最为高效便捷的处理方式。
然而,该进路面临如下三重困境。首先是理论层面。所谓的“价值观”由非常含混的观念集合而成,我们何以确保我们要设立的价值观必定是合理不悖的。退一步说,倘若我们可以确保价值观是一致的、没有矛盾的,那么我们需要给人工智能系统输入什么价值观,以及智能系统能否“理解”这些加载的价值观?如果让人工智能系统回答“电车难题”,会出现什么样的情形呢?我们需要给人工智能系统设定什么样的价值标准?[14]这一系列追问都是令人懊恼的哲学和伦理学问题。其次是技术层面。以现在的技术水平,把伦理准则嵌入人工智能系统为时尚早。要想实现伦理准则的嵌入,需要靠在设计计算力和机器智能的大规模应用中推动[15]。技术层面难以实现,应用层面亦是困难重重。我们设定一个具体的应用情景,假如我们给人工智能系统设立一个密尔的功利主义原则:“确保人类总体快乐最大化”。如果它认为快乐就是刺激负责快乐的中枢神经,那么它极有可能创造出《黑客帝国》里弱化版的“缸中之脑”。纵而览之,虽然人工智能价值观嵌入看似一劳永逸,实际上面临着理论、技术和应用三面难题,还存在许多难以克服的问题。
其实,我们也可以借鉴其他高风险技术的发展经验,如基因编辑技术、克隆技术和NBIC聚合技术等新兴技术。虽然“贺建奎事件”让基因编辑技术蒙上阴影,但总体上还是朝着安全平稳的势头发展。一个重要的原因就是各国政府和整个学术共同体在这些领域制定了规范研究的准则和公约。以克隆技术为例,鉴于克隆人技术特别是生殖性克隆可能会引发严重的社会、伦理、道德、宗教和法律问题,所以联合国在2002年制定了《禁止生殖性克隆人国际公约》,许多国家分别制定了禁止生殖性克隆和治疗性克隆的法律。类似地,各国在人工智能领域竞争时,合作和沟通也必不可少,有效减少人工智能研发过程中的草率和盲动行为。居安思危,防微杜渐,是应对将要到来的人工智能时代所应持有的合理立场。
随着人工智能发展的深入,与大众生活日渐交融,必定会出现新的情况。根据形势的发展,还需要修订或增加新的规约和法律条文。谁也不知道新兴技术最终把我们引向何方,但无论如何,在面对人工智能这项重大课题时,多方协作、共同应对、群策群力、小心谨慎是预防人工智能“背叛转折”的有效法宝。