基辛格论人工智能：启蒙如何终结
【翻译/观察者网马力】在3年前召开的一场关于跨大西洋问题的国际会议上，我发现会议日程里安排了一个以“人工智能”为主题的环节。由于人工智能并不在我通常关注的领域之内，我本想跳过那一场讨论，但主讲人开场的几句话却把我留在了位子上。
美国前国务卿、外交家、国际问题专家亨利·基辛格在2018年6月号美国《大西洋月刊》杂志刊发评论文章：《启蒙如何终结》。他认为，“无论从哲学层面来说，还是从人类智力层面来说，乃至从每一个层面上来说，人类社会还没有为人工智能技术的崛起做好准备”。
主讲人向听众宣告，一个计算机程序很快就将向围棋界的国际冠军发起挑战，随后他介绍了那个计算机程序的运行方式。电脑竟然能够掌握比国际象棋更加复杂的中国围棋的对弈规则？这令我十分吃惊。在中国围棋的比赛中，每一位棋手手执180枚或181枚棋子（这取决于两位棋手选择黑白何种颜色的棋子，黑子181枚，白子180枚），比赛开始时棋盘是空的，随后两位棋手轮流在棋盘上落子。判定围棋取胜的标准是，看哪位棋手能通过更加高明的策略更有效地占据棋盘上的空位，从而最终困死对手。
主讲人表示，计算机程序并非在编制过程中就获得了高超的对弈能力，这种能力是在实践过程中通过自我训练逐渐习得的。在围棋规则的框架下，计算机程序已经与自己对弈了无数局，它从错误中吸取了教训并借此完善了算法。经过这一过程之后，计算机程序的围棋水平已经远远超过了为其编程的工程师。就在演讲结束几个月之后，一个名为“阿尔法狗”（AlphaGo）的人工智能计算机程序毫无困难地战胜了世界上最顶尖的围棋选手。
当我听到主讲人为这一技术进步喝彩时，作为一名历史学家和客串政治家，我的思路不再跟随他的话语，而是停在了那里。那些能够自主学习的机器能够通过独特的方式获得知识，并且能够将获得的知识应用在可能超出人类理解的领域，这会对人类历史产生怎样的影响呢？这些机器之间能够互相交流吗？在从未遇到过的行为选项面前，这些机器又会如何作出判断呢？面对西班牙文化，印加人（南美洲安第斯山区克丘亚族的一支，讲克丘亚语，他们的“王”被称为“印加”；1532年，最后一任印加帝国国王被西班牙侵略者处以死刑，随后印加帝国沦为了西班牙的殖民地——观察者网注）曾是感到迷惑甚至心怀畏惧的；如今面对人工智能的崛起，人类会步印加人的后尘吗？人类是否正处于一个新的历史阶段的起点呢？
由于我自身缺乏在人工智能领域的专业能力，在几位分别来自相关技术行业和人文领域的朋友的建议和配合下，我组织了几场关于人工智能技术的非正式对话会。经过对话会上的讨论之后，我对这个问题的忧虑反而加深了。
迄今为止，改变现代历史发展轨迹程度最深的技术进步莫过于15世纪印刷机的发明，它使仪式性的教条被对经验知识的探索所取代，它使宗教时代落幕，使理性时代得以开启。人类对自然的理解和科学体系的建立取代了宗教信仰，它们成为判定人类意识觉醒的重要标准。人们将信息存储起来，而且信息在规模日益扩大的图书馆中得以系统化。塑造当代世界秩序的思想和行为正是发端自理性时代。
不过在当下这场全新的、甚至更加彻底的技术革命中，当代世界秩序正面临一场颠覆性的变革。我们很难充分判断这场变革的影响，这场变革甚至可能到达一个高潮，届时我们的世界将严重依赖由数据和算法驱动的人工智能机器人，而道德伦理和哲学规范将完全受到那些机器人的无视。
我们身处其中的互联网时代已经给人类带来了一些麻烦，而人工智能时代的到来很可能会使情况变得更加复杂。当年启蒙运动（theEnlightenment）所寻求的是将传统真理（traditionalverities）置于已被解放的、具有分析能力的人类理性面前接受检验。而如今互联网则是通过对不断增加的数据的积累和处理来定义知识。在互联网时代，人类的认知能力失去了人的个性特征，一切都以数据形式存在，数据成了这个时代的统治者。
相较于在具体语境中思考信息的意义或将信息赋予明确的概念，互联网用户更看重信息的检索和处理。他们很少在互联网上就历史或哲学问题检索信息，一般来说，互联网用户的信息检索行为与他们当下的实际需求直接相关。在这一过程中，搜索引擎获得了互联网用户信息检索偏好的有关信息，这使其算法能够对搜索结果进行个性化处理，而搜索引擎甚至可能将用户的信息检索偏好提供给第三方，以用于政治或商业目的。真相变得不再绝对，在海量信息面前，智慧的作用恐怕也要弱化。
互联网用户们变得不再擅长独立思考，他们开始被社交媒体上的各种观点所左右。事实上，许多网民使用互联网的目的仅在于通过上网来冲淡他们内心十分恐惧的孤独感。上述因素削弱了人们形成并维护自身信念的刚毅品质，只有孤独的行者才能一直坚持内心的信念，而创造力的本质正在于这种对自身信念孤独的坚持。
此外，互联网对政治的冲击尤为明显。互联网能够使社会上很多亚群体获得更多曝光度，他们的特殊诉求或苦衷能够通过网络获得更多人的了解，这打破了人们以往对何为政治优先事项的认识。但政治家们也由于受到这些散乱压力的影响，无暇思考问题产生的背景，这挤压了政治家们对未来进行长远规划的空间。
互联网时代的快速阅读不利于人们进行深度思考；互联网对夺人眼球的信息的影响力进行了放大，而那些经过缜密思考写就的文章却在网络上难以获得大面积传播；互联网时代的价值观受到亚群体观点的严重影响，而在这一过程中人们十分缺乏深入的思考。尽管互联网的出现为人类社会做出了巨大贡献，但由于其影响利弊相抵，它未来恐怕会将枪口对准自己也未可知。
互联网的出现和计算能力的提高为海量数据的积累和分析提供了极大便利，人类的理解能力因此获得了前所未有的提升。在这一过程中，意义最为重大的技术创新出现在人工智能领域。人工智能技术能够通过类似人脑才具有的信息处理能力进行创新性思维并解决复杂的、看似抽象的问题。
这已经远远超出了我们对“自动化”的理解。所谓“自动化”仅是针对手段而言，自动化技术通过对生产工具进行机械化或合理化改进来实现确定的生产目标。与自动化技术大为不同，人工智能技术是针对结果而言的，人工智能可以自行确定自身行为的目标。由于在某种程度上来说人工智能所实现的目标部分取决于其自身，所以人工智能具有一种内在的不稳定性。人工智能系统在实际运行过程中不断获取新的数据并即时对这些新数据进行分析，在分析结果的基础上，人工智能系统可以不断对自己的算法进行优化。
所以说，人工智能系统是一个不断变化的、处于动态中的系统。在这一动态过程中，人工智能系统表现出了一种此前被认为仅有人类才会具有的信息处理能力。它可以对未来做出战略判断，有些判断是基于以代码形式事先注入的数据（围棋规则），有些判断则是基于人工智能系统自身所收集到的数据（与自己进行100万次对弈过程中出现的各种情况）。
以无人驾驶汽车为例，它体现了传统上以软件驱动、完全受到人类控制的车载计算机行为与渗透进驾驶过程每一个细节的人工智能行为这两者之间的区别。人类驾驶汽车时需要面对数不清的各种情况，并需要在每一具体情况下做出特定的判断，我们根本不可能预先想到所有的情况并事先为每一种可能的情况编写程序。我们以一个十分有名的假设为例来进行说明：当一辆由人工智能控制的无人驾驶汽车不得不在一位老人和一个小孩之间做出选择必须撞向其中一人时，它会如何选择呢？其背后的原因何在？它在做出选择时会更看重哪些因素？它能够自圆其说吗？如果人工智能程序能够与人类交流的话，它很可能会这样回答上述问题：“我不知道，我驾驶汽车时遵循的是数学原理，我不懂人类的那套规则”，它也可能这样回答：“你搞不懂我的，我曾受到大量训练来应对各种驾驶情况，但我从未受到训练向人类解释为何我会那样应对那些情况”。这就是人工智能无人驾驶技术当下的现实，不过不出10年，无人驾驶汽车很可能将行驶在我们的每一条街道上。
截至目前，人工智能技术仅在有限几个领域里获得了应用。如今，人工智能科学家们正试图将这一技术的应用领域扩大到社会生活的各个方面，未来的人工智能将可以执行多种任务。在不远的未来，将有越来越多的人类工作被人工智能算法所取代。不过，这些算法只能对所观察到的现象进行数学性理解，算法并不能理解现象背后的原因。令人感到矛盾的是，随着我们的世界越来越透明，人工智能算法却会变得越来越神秘。未来的新世界与我们早已习惯的今日世界会有哪些不同呢？我们将如何在那个新世界里生活呢？我们该如何管理人工智能？该如何改进它？该如何避免它对人类造成伤害？该如何避免比人类更快、更好掌握某些能力的人工智能（对它来说欲获得那些能力仅需处理一些数据）使人类的能力趋于退化或使人类的境况趋于恶化？
人工智能迟早将为医学科学、清洁能源和环境保护等领域带来极大的进步。不过，正因为人工智能所面对的未来正处于不断演进之中，它为我们带来的结果就内在地具有某种模糊性和不确定性。在这方面，有如下四点值得我们注意：
首先，人工智能可能为我们带来意想不到的后果。在科幻小说的情节中，人工智能机器人已经将其创造者列为攻击目标了。不过，另一种情况的可能性更大，由于人工智能并不是在一个完整的语境中理解信息的，它很可能无法正确理解人类的指令。最近一个有名的例子来自一个名为Tay的通过自然语言同人进行交流的人机智能对话系统，科学家的设计初衷是希望Tay能够以一个19岁女孩的身份和语言特征与人们进行友善、理性的交谈。不过，结果证明，这个智能对话系统并不能真正理解“友善”和“理性”的含义，Tay所使用的语言反而体现出种族主义者和性别歧视者的一些特征，有时候“她”讲的话甚至能将人激怒。
一些专业技术人员认为，人机智能对话系统Tay的设计思路不够合理，具体研发过程也出现了很多问题。不过，我们仍然能够借此就其背后的模糊之处提出一些疑问：我们能在多大程度上使人工智能系统理解人类指令的具体语境？当人类也未能就“冒犯”一词的准确含义达成共识的时候，我们能通过什么办法帮助Tay获得“冒犯”一词的准确概念？当人工智能系统的运行偏离其设计者的意图时，我们能早期发现并进行修正吗？如果我们对人工智能系统不施加任何干预，它会不会不可避免地在初期略微偏离设计意图甚至久而久之沿着偏离的轨道滑向灾难性的深渊？
第二点，在实现既定目标的过程中，人工智能可能会改变人类的思维方式和价值观。阿尔法狗在击败围棋世界冠军时所采用的策略是前所未见的，人类从未想到过围棋会有那种走法而且至今也未能想出针对那种走法的应对之策。阿尔法狗所采用的围棋走法是否已经超出了人类大脑的理解能力？人类是否能够学会那种走法呢？
在人工智能涉足围棋领域之前，人类在进行围棋对弈时往往抱着各不相同的甚至是多层面的目的：棋手们所追求的不仅是赢得棋盘上的胜利，他们还希望通过对弈过程领悟出可以在生活中其他领域获得应用的策略和智慧。而对于人工智能来说，它在棋盘上的目的只有一个：战胜对手。
人工智能不是像人类那样通过对概念的理解而是通过数学运算来进行“学习”的，具体表现在对算法的微调。所以，在学习如何赢得围棋比赛的过程中，人工智能与人类的思维方式是完全不同的，它已经改变了围棋对弈的本质以及人类围棋对弈的传统思维范式。这样一种对胜利毫无杂念的渴望是否是所有人工智能程序的共同特征呢？
已经有人工智能项目希望通过研发能够回答人类各种问题的设备来改变人类的思想。这种设备能够回答一些事实性的诸如“现在外面气温如何”这样的问题，但在回答关于存在本质或人生意义这样的问题时，你会发现它可能给人类带来一些深层的忧虑：我们真得愿意自己的孩子在与不受束缚的人工智能算法进行交谈时形成自己的价值观吗？为了保护提问者的隐私，我们是否应该限制人工智能算法对提问者的了解呢？在得出上述两个问题的答案之后，我们又该如何确保人工智能遵从我们的意愿呢？
如果人工智能的学习速度是人类的指数倍，那么我们应该想到，它同样能以指数倍的速度进行试错，而人类的决策通常就是通过试错才做出的。也就是说，人工智能犯错的速度要快于人类，其犯错的严重性也是人类无法相比的。人工智能科学家们通常认为，在人工智能程序中注入“道德”或“理性”的指令也无济于事，它们并不会使人工智能算法所犯的错误有丝毫减轻。实际上，人类所有的学科都是在人们没有就各学科的重要概念（诸如“道德”、“理性”这样的概念）达成共识的前提下发展起来的。如此说来，人工智能是否会成为超越所有这些具体学科理论体系的一门终极学科呢？
第三，人工智能有能力实现它被赋予的既定目标，但人工智能无法解释它实现目标过程背后的基本原理。在模式识别、大数据分析和游戏等领域，人工智能或许已经超越了人类。如果人工智能的计算能力继续快速进步，那么它或许很快就能够以与人类略为不同或截然不同的方式对场景进行优化。但到了那个时候，人工智能是否能够以人类能理解的方式来证明它的场景优化比人类做得更好呢？人工智能的决策是否会超越人类语言的解释能力或人类理性的理解能力呢？
纵观人类历史，我们创造了很多理解周遭的世界的方法——在中世纪，我们通过宗教来理解世界；在启蒙时代，我们诉诸理性；在19世纪，我们通过历史去分析世界；而到了20世纪，我们又找到了意识形态这个工具。至于当下这个我们正在投身其中的新世界，一个最难回答然而也最为重要的问题在于：如果人类个体对客观世界的认知能力被人工智能所超越，如果人类社会再也无法通过自己能够理解的方式去解释这个世界，届时人类意识本身会落入怎样的境遇呢？
在未来的人工智能世界里，人类经验在机器眼中不过是一堆可以用自身内存处理的数据，从这一角度来说，人类意识又该如何定义呢？谁该为人工智能机器人的行为负责呢？当人工智能犯下错误时，责任归属该如何划定呢？当人工智能的思想比人类更加深邃、其行动能力比人类更加强大时，由人类制定的法律体系还能够对人工智能的行为做出裁定吗？
最后，“人工智能”（ArtificialIntelligence）这个词可能用得并不恰当。不可否认，人工智能机器人能够解决很多非常复杂且表面看起来非常抽象的问题，这些问题此前都是在人类认知能力的参与下获得解决的。但人工智能的独特之处在于，它的“思维方式”是人类此前从未想到过的，更是此前从未采取过的。或者可以这样表述，人工智能前所未有的记忆能力和计算能力是其“思维方式”有别于人类的关键。由于在上述两方面的压倒性优势，人工智能可以在人类给它安排的任何游戏中胜出。
但对于人类而言，我们在参与游戏活动时，“赢”并非唯一的目的，我们还希望在游戏中享受思考的乐趣。当我们将人工智能的数据处理过程当作思考过程亲自进行模拟，当我们将这一过程得出的结果视为人类思考的结果，那么人类真正的思考能力就有可能退化，而思考能力正是人类认知能力的核心。
最近新推出的人工智能程序“阿尔法零”（AlphaZero）就体现了上述趋势。这款人工智能棋类程序的国际象棋水平在大师级之上，它的行棋风格在国际象棋历史上也是前所未见的。仅仅通过几个小时的自我对弈训练，“阿尔法零”就获得了人类用1500年才能达到的国际象棋水平，而它最初具备的仅仅是国际象棋的基本规则。在“阿尔法零”自我训练的过程中，没有任何人参与，也没有任何来自人类的对弈数据被注入该人工智能程序。如果“阿尔法零”在短短几个小时之内就获得了国际象棋大师的对弈水平，那么5年之后，人工智能技术将发展到怎样的高度呢？人工智能对人类的认知能力会产生怎样的影响呢？从本质上来说，人工智能所做的其实是对选择过程进行加速，那么伦理道德在这一过程中又扮演着怎样的角色呢？
一般来说，此类问题应该留给技术人员以及相关科学领域的专业人士去回答。哲学及其他人文学科领域的学者们曾在“世界秩序”这一概念的塑造方面贡献了自己的力量，但由于他们对人工智能程序的运行机制缺乏理解或者干脆被人工智能的表现所震惊以至于对其心生敬畏，他们在分析上述问题时并非处于很合适的地位。相比之下，科学界在十分兴奋地探索人工智能在诸多领域获得成功的技术可行性，而技术界也在为人工智能未来规模巨大的商业前景感到鼓舞。科学界和技术界这两个群体都在探索推进人工智能技术进步的边界，但他们并没有花太多时间试图去理解这种技术进步到底意味着什么。至于我们的政府，就其工作内容而言，与思考人工智能所产生的对人类未来生存境况的影响比起来，他们对人工智能技术在国家安全和情报工作方面的应用似乎更加感兴趣。
“启蒙运动”从根本上来说是由新技术出现所导致的人们对我们这个世界在哲学层面的理解所发生的变化。而我们当下的时代与启蒙时期相比，在技术进步和哲学思考的互相作用方向上是相反的。我们一直在寻求一种指导纲领性的哲学，而在寻求这种哲学的过程中，我们却创造出了一种很可能将主导一切的技术。其他很多国家已将人工智能列为重要的国家级项目，但美国甚至还没有开始对这项新技术所涉及的应用范围以及它可能在各层面造成的影响进行系统性研究，而且为了避免被人工智能取代，我们在人类的终极学习（ultimatelearning）领域也还没有启动任何计划。鉴于人类人文主义传统（humanistictraditions）的命运与人工智能技术密切相关，美国必须在国家层面对这项技术的发展保持高度关注。
就像我不了解人工智能的技术细节一样，人工智能技术领域的研发人员们对政治和哲学也是缺乏认识的。他们应该把我在本文中提出的问题也提给自己，并在今后的研发过程中将那些问题纳入考虑。此外，美国政府应该成立一个由各领域杰出思想家组成的总统委员会以便他们在国家层面协助制定未来人工智能技术发展的远景规划。
有一点是明确的：如果我们不尽快行动起来，过不了多久我们就会发现一切已经太迟了。
（观察者网马力译自2018年6月号美国《大西洋月刊》杂志）
本文系观察者网独家稿件，文章内容纯属作者个人观点，不代表平台观点，未经授权，不得转载，否则将追究法律责任。关注观察者网微信guanchacn，每日阅读趣味文章。
霍金GMIC演讲：人工智能或终结人类文明
（原标题：霍金GMIC演讲:人工智能或终结人类文明）
4月27日，由长城会主办的全球移动互联网大会（GMIC）北京站在国家会议中心召开，这次峰会以“天·工·开·悟”为主题，邀请了众多行业领域的领军人物来，其中到场嘉宾包括创新工场董事长兼CEO李开复、百度公司总裁张亚勤、京东集团创始人兼CEO刘强东、谷歌大中华区总裁Scott Beaumont、金山软件前任CEO张宏江、荣耀总裁赵明、微博CEO王高飞、Qualcomm中国区董事长孟樸、猎豹移动CEO傅盛、爱奇艺创始人兼CEO龚宇、英伟达副总裁、总经理Jim McHugh、滴滴出行创始人兼CEO程维、纪源资本合伙人李宏玮、皮克斯动画工作室技术总监Alonso Martinez等，这些嘉宾将在近30场主题会议上进行分享，围绕时下最热门的人工智能、无人驾驶、大数据、共享经济、科技金融、创新创业等话题展开。
不过，本次峰会上最值得关注的，则是大名鼎鼎的物理学家、剑桥大学教授史蒂芬·霍金（Steven Hawking）。在大会开始环节，远在英国的霍金教授以远程视频的形式，发表了题为“让人工智能造福人类及其赖以生存的家园”的主题演讲。
以下是演讲全文：
在我的一生中，我见证了社会深刻的变化。其中最深刻的，同时也是对人类影响与日俱增的变化，是人工智能的崛起。简单来说，我认为强大的人工智能的崛起，要么是人类历史上最好的事，要么是最糟的。我不得不说，是好是坏我们仍不确定。但我们应该竭尽所能，确保其未来发展对我们和我们的环境有利。我们别无选择。我认为人工智能的发展，本身是一种存在着问题的趋势，而这些问题必须在现在和将来得到解决。
人工智能的研究与开发正在迅速推进。也许我们所有人都应该暂停片刻，把我们的研究重复从提升人工智能能力转移到最大化人工智能的社会效益上面。基于这样的考虑，美国人工智能协会（AAAI）于2008至2009年，成立了人工智能长期未来总筹论坛，他们近期在目的导向的中性技术上投入了大量的关注。但我们的人工智能系统须要按照我们的意志工作。跨学科研究是一种可能的前进道路：从经济、法律、哲学延伸至计算机安全、形式化方法，当然还有人工智能本身的各个分支。
文明所提产生的一切都是人类智能的产物，我相信生物大脑可以达到的和计算机可以达到的，没有本质区别。因此，它遵循了“计算机在理论上可以模仿人类智能，然后超越”这一原则。但我们并不确定，所以我们无法知道我们将无限地得到人工智能的帮助，还是被藐视并被边缘化，或者很可能被它毁灭。的确，我们担心聪明的机器将能够代替人类正在从事的工作，并迅速地消灭数以百万计的工作岗位。
在人工智能从原始形态不断发展，并被证明非常有用的同时，我也在担忧创造一个可以等同或超越人类的事物所导致的结果：人工智能一旦脱离束缚，以不断加速的状态重新设计自身。人类由于受到漫长的生物进化的限制，无法与之竞争，将被取代。这将给我们的经济带来极大的破坏。未来，人工智能可以发展出自我意志，一个与我们冲突的意志。尽管我对人类一贯持有乐观的态度，但其他人认为，人类可以在相当长的时间里控制技术的发展，这样我们就能看到人工智能可以解决世界上大部分问题的潜力。但我并不确定。
2015年1月份，我和科技企业家埃隆·马斯克，以及许多其他的人工智能专家签署了一份关于人工智能的公开信，目的是提倡就人工智能对社会所造成的影响做认真的调研。在这之前，埃隆·马斯克就警告过人们：超人类人工智能可能带来不可估量的利益，但是如果部署不当，则可能给人类带来相反的效果。我和他同在“生命未来研究所”的科学顾问委员会，这是一个为了缓解人类所面临的存在风险的组织，而且之前提到的公开信也是由这个组织起草的。这个公开信号召展开可以阻止潜在问题的直接研究，同时也收获人工智能带给我们的潜在利益，同时致力于让人工智能的研发人员更关注人工智能安全。此外，对于决策者和普通大众来说，这封公开信内容翔实，并非危言耸听。人人都知道人工智能研究人员们在认真思索这些担心和伦理问题，我们认为这一点非常重要。比如，人工智能是有根除疾患和贫困的潜力的，但是研究人员必须能够创造出可控的人工智能。那封只有四段文字，题目为《应优先研究强大而有益的人工智能》的公开信，在其附带的十二页文件中对研究的优先次序作了详细的安排。
在过去的20年里，人工智能一直专注于围绕建设智能代理所产生的问题，也就是在特定环境下可以感知并行动的各种系统。在这种情况下，智能是一个与统计学和经济学相关的理性概念。通俗地讲，这是一种做出好的决定、计划和推论的能力。基于这些工作，大量的整合和交叉孕育被应用在人工智能、机器学习、统计学、控制论、神经科学、以及其它领域。共享理论框架的建立，结合数据的供应和处理能力，在各种细分的领域取得了显著的成功。例如语音识别、图像分类、自动驾驶、机器翻译、步态运动和问答系统。
随着这些领域的发展，从实验室研究到有经济价值的技术形成良性循环。哪怕很小的性能改进，都会带来巨大的经济效益，进而鼓励更长期、更伟大的投入和研究。目前人们广泛认同，人工智能的研究正在稳步发展，而它对社会的影响很可能扩大，潜在的好处是巨大的，既然文明所产生的一切，都是人类智能的产物；我们无法预测我们可能取得什么成果，当这种智能是被人工智能工具放大过的。但是，正如我说过的，根除疾病和贫穷并不是完全不可能，由于人工智能的巨大潜力，研究如何（从人工智能）获益并规避风险是非常重要的。
现在，关于人工智能的研究正在迅速发展。这一研究可以从短期和长期来讨论。一些短期的担忧在无人驾驶方面，从民用无人机到自主驾驶汽车。比如说，在紧急情况下，一辆无人驾驶汽车不得不在小风险的大事故和大概率的小事故之间进行选择。另一个担忧在致命性智能自主武器。他们是否该被禁止？如果是，那么“自主”该如何精确定义。如果不是，任何使用不当和故障的过失应该如何问责。还有另外一些担忧，由人工智能逐渐可以解读大量监控数据引起的隐私和担忧，以及如何管理因人工智能取代工作岗位带来的经济影响。
长期担忧主要是人工智能系统失控的潜在风险，随着不遵循人类意愿行事的超级智能的崛起，那个强大的系统威胁到人类。这样错位的结果是否有可能？如果是，这些情况是如何出现的？我们应该投入什么样的研究，以便更好的理解和解决危险的超级智能崛起的可能性，或智能爆发的出现？
当前控制人工智能技术的工具，例如强化学习，简单实用的功能，还不足以解决这个问题。因此，我们需要进一步研究来找到和确认一个可靠的解决办法来掌控这一问题。
近来的里程碑，比如说之前提到的自主驾驶汽车，以及人工智能赢得围棋比赛，都是未来趋势的迹象。巨大的投入倾注到这项科技。我们目前所取得的成就，和未来几十年后可能取得的成就相比，必然相形见绌。而且我们远不能预测我们能取得什么成就，当我们的头脑被人工智能放大以后。也许在这种新技术革命的辅助下，我们可以解决一些工业化对自然界造成的损害。关乎到我们生活的各个方面都即将被改变。简而言之，人工智能的成功有可能是人类文明史上最大的事件。
但是人工智能也有可能是人类文明史的终结，除非我们学会如何避免危险。我曾经说过，人工智能的全方位发展可能招致人类的灭亡，比如最大化使用智能性自主武器。今年早些时候，我和一些来自世界各国的科学家共同在联合国会议上支持其对于核武器的禁令。我们正在焦急的等待协商结果。目前，九个核大国可以控制大约一万四千个核武器，它们中的任何一个都可以将城市夷为平地，放射性废物会大面积污染农田，最可怕的危害是诱发核冬天，火和烟雾会导致全球的小冰河期。这一结果使全球粮食体系崩塌，末日般动荡，很可能导致大部分人死亡。我们作为科学家，对核武器承担着特殊的责任，因为正是科学家发明了它们，并发现它们的影响比最初预想的更加可怕。
现阶段，我对灾难的探讨可能惊吓到了在座的各位。很抱歉。但是作为今天的与会者，重要的是，你们要认清自己在影响当前技术的未来研发中的位置。我相信我们团结在一起，来呼吁国际条约的支持或者签署呈交给各国政府的公开信，科技领袖和科学家正极尽所能避免不可控的人工智能的崛起。
去年10月，我在英国剑桥建立了一个新的机构，试图解决一些在人工智能研究快速发展中出现的尚无定论的问题。“利弗休姆智能未来中心”是一个跨学科研究所，致力于研究智能的未来，这对我们文明和物种的未来至关重要。我们花费大量时间学习历史，深入去看——大多数是关于愚蠢的历史。所以人们转而研究智能的未来是令人欣喜的变化。虽然我们对潜在危险有所意识，但我内心仍秉持乐观态度，我相信创造智能的潜在收益是巨大的。也许借助这项新技术革命的工具，我们将可以削减工业化对自然界造成的伤害。
我们生活的每一个方面都会被改变。我在研究所的同事休·普林斯承认，“利弗休姆中心”能建立，部分是因为大学成立了“存在风险中心”。后者更加广泛地审视了人类潜在问题，“利弗休姆中心”的重点研究范围则相对狭窄。
人工智能的最新进展，包括欧洲议会呼吁起草一系列法规，以管理机器人和人工智能的创新。令人感到些许惊讶的是，这里面涉及到了一种形式的电子人格，以确保最有能力和最先进的人工智能的权利和责任。欧洲议会发言人评论说，随着日常生活中越来越多的领域日益受到机器人的影响，我们需要确保机器人无论现在还是将来，都为人类而服务。向欧洲议会议员提交的报告，明确认为世界正处于新的工业机器人革命的前沿。报告中分析的是否给机器人提供作为电子人的权利，这等同于法人（的身份），也许有可能。报告强调，在任何时候，研究和设计人员都应确保每一个机器人设计都包含有终止开关。在库布里克的电影《2001太空漫游》中，出故障的超级电脑哈尔没有让科学家们进入太空舱，但那是科幻。我们要面对的则是事实。奥斯本·克拉克跨国律师事务所的合伙人，洛纳·布拉泽尔在报告中说，我们不承认鲸鱼和大猩猩有人格，所以也没有必要急于接受一个机器人人格。但是担忧一直存在。报告承认在几十年的时间内，人工智能可能会超越人类智力范围，人工智能可能会超越人类智力范围，进而挑战人机关系。报告最后呼吁成立欧洲机器人和人工智能机构，以提供技术、伦理和监管方面的专业知识。如果欧洲议会议员投票赞成立法，该报告将提交给欧盟委员会。它将在三个月的时间内决定要采取哪些立法步骤。
我们还应该扮演一个角色，确保下一代不仅仅有机会还要有决心，在早期阶段充分参与科学研究，以便他们继续发挥潜力，帮助人类创造一个更加美好的的世界。这就是我刚谈到学习和教育的重要性时，所要表达的意思。我们需要跳出“事情应该如何”这样的理论探讨，并且采取行动，以确保他们有机会参与进来。我们站在一个美丽新世界的入口。这是一个令人兴奋的、同时充满了不确定性的世界，而你们是先行者。我祝福你们。
谢谢
Q&A环节：
创新工场 CEO 李开复：
互联网巨头拥有巨量的数据，而这些数据会给他们各种以用户隐私和利益换取暴利的机会。在巨大的利益诱惑下，他们是无法自律的。而且，这种行为也会导致小公司和创业者更难创新。您常谈到如何约束人工智能，但更难的是如何约束人本身。您认为我们应该如何约束这些巨头？
霍金：
据我了解,许多公司仅将这些数据用于统计分析,但任何涉及到私人信息的使用都应该被禁止。会有助于隐私保护的是，如果互联网上所有的信息，均通过基于量子技术加密，这样互联网公司在一定时间内便无法破解。但安全服务会反对这个做法。
猎豹移动 CEO 傅盛：
“灵魂会不会是量子的一种存在形态？或者是高维空间里的另一个表现？”
霍金：
我认为近来人工智能的发展，比如电脑在国际象棋和围棋的比赛中战胜人脑，都显示出人脑和电脑并没有本质差别。这点上我和我的同事罗杰·彭罗斯正好相反。会有人认为电脑有灵魂吗？对我而言，灵魂这个说法是一个基督教的概念，它和来世联系在一起。我认为这是一个童话故事。
百度总裁张亚勤
“人类观察和抽象世界的方式不断演进，从早期的观察和估算，到牛顿定律和爱因斯坦方程式， 到今天数据驱动的计算和人工智能，下一个是什么？”
霍金：
我们需要一个新的量子理论，将重力和其他自然界的其它力量整合在一起。许多人声称这是弦理论，但我对此表示怀疑，目前唯一的推测是，时空有十个维度。
斯坦福大学物理学教授张首晟
“如果让你告诉外星人我们人类取得的最高成就，写在一张明信片的背面，您会写什么？”
霍金：
告诉外星人关于美，或者任何可能代表最高艺术成就的艺术形式都是无益的，因为这是人类特有的。我会告诉他们哥德尔不完备定理和费马大定理。这才是外星人能够理解的事情。
长城会 CEO 郝义：
“我们希望提倡科学精神，贯穿GMIC全球九站，清您推荐三本书，让科技届的朋友们更好的理解科学及科学的未来。”他们应该去写书而不是读书。只有当一个人关于某件事能写出一本书，才代表他完全理解了这件事。
微博用户：
“您认为一个人一生中最应当做的一件事和最不应当做的一件事是什么？”
霍金：
我们绝不应当放弃，我们都应当尽可能多的去理解（这个世界）。
微博用户：
“人类在漫漫的历史长河中，重复着一次又一次的革命与运动。从石器、蒸汽、电气……您认为下一次的革命会是由什么驱动的？”
霍金：
（我认为是）计算机科学的发展，包括人工智能和量子计算。科技已经成为我们生活中重要的一部分，但未来几十年里，它会逐渐渗透到社会的每一个方面，为我们提供智能地支持和建议，在医疗、工作、教育和科技等众多领域。但是我们必须要确保是我们来掌控人工智能，而非它（掌控）我们。
音乐人、投资者胡海泉：
“如果星际移民技术的成熟窗口期迟到，有没有完全解决不了的内发灾难导致人类灭绝？抛开陨星撞地球这样的外来灾难。”
霍金：
是的。人口过剩、疾病、战争、饥荒、气候变化和水资源匮乏, 人类有能力解决这些危机。但很可惜，这些危机还严重威胁着我们在地球上的生存，这些危机都是可以解决的，但目前还没有。
俞敏洪:人工智能无法取代人类这三种能力
原标题：俞敏洪:人工智能无法取代人类这三种能力3月1日-6月8日，新东方联合今日头条共同发起“百日行动派”俞答百问，本文是俞敏洪老师5月25日回答关于人工智能的问题。
问题：俞老师好，现在人工智能越来越发达，人类的很多方面都会被人工智能替代。那么人的哪些能力是永远无法被人工智能取代的呢？
人工智能的发展对于人类来说是一件幸福的事情。人工智能大数据结合在一起，能给这个世界带来无穷的可能性，这种可能性会使世界更加丰富、多彩和智能化。如此一来，我们接收数据和信息将会更加便捷，并且精确性会不断地提高。
人类在过去几万年中，最痛苦的就是各种重复性的体力劳动，而这些未来大部分都能够被人工智能取代，比如驾驶汽车和各种重复性的家务劳动。这样一来，不仅解放了时间，还解放了生产力。我们可以把时间和精力集中用在自己更加感兴趣、更能够创造幸福的事情上，同时也能够解放我们的精神，使我们达到身体和精神上的双重自由。
人工智能也会带来一个比较麻烦的问题，因为不是每个人都知道有了足够的时间和精力后到底应该做些什么。当人工智能对人类的体力劳动和重复性劳动进行大规模取代，人类应该去做什么样的工作才能够继续给自己带来丰富的精神和生命充实，是一个重大的挑战。人类原本的挑战是天天要做无聊、痛苦、重复的体力劳动，现在的挑战是我们必须要升级到另外一个层面才能够将自己的时间和精力延展在生命的丰富性上，否则你会陷入物质生活丰富却没有事情做的状态，生命会变得非常无聊和空虚。
讨论到重复性的劳动会被取代，我们同时也认为部分智力性的劳动会被取代，尤其是AlphaGo打败了李世石之后。其实我认为这件事情是一个伪命题，为什么？因为像围棋、象棋这样的活动，实际上也是重复性的智力劳动。由于大数据的不断收集，未来的人工智能在重复性的智力劳动方面一定会比人更加聪明。比如一个人对棋谱的研究，一辈子最多大概能研究一万个棋谱，但是AlphaGo能在短短的一两年之内研究几十万个棋谱，把棋谱中最好的下棋方式的数据收集起来去，形成快速反应。
未来人类在这种重复性智力劳动上想要跟机器人去竞争是完全不可能的，但是这件事情并不会减少人类的乐趣。未来人类也不会与机器人进行围棋大赛，因为人类是不能战胜机器的，但人和人依然会下围棋。机器的聪明并不能够减少人与人之间围棋竞争的激励性和乐趣。人类创造的比赛性活动、运动型活动，即使人类永远战胜不了机器，但人与人之间互相竞争这件事情依然会一如既往有乐趣。
如果有一天，有一个机器人足球队战胜了人类足球队，并不意味着阿根廷队和巴西队的比赛就没人看了、就没有乐趣了。把人和猴子放在一起比赛爬树是没有意义的。一个刚刚学打乒乓球的小孩与专业运动员去比赛没有意义，双方都没有乐趣；但是两个都不太会打乒乓球的小孩在一起比赛，会充满乐趣。所以，人类的乐趣并不会因为被智能机器人取代就消失。那么什么东西是人工智能无法取代的呢？
第一，人类的想象力。因为你把全世界的文字都输入机器中，即便它能检索出来，也无法像人类一样凭空想象出来另外一个故事。比如《爱丽丝漫游奇境》、《哈利波特》、《疯狂动物城》这样的故事，机器人是想不出来的，只有人类能够想出来。所以，人类能够通过自己想象力来进一步创造和丰满世界。
第二，人类的独创思维。独创思维是这个世界上原来没有，但人类通过自己的思考最终创造出来的新东西。比如人类能够去探索宇宙，但靠机器人是做不出来的，必须先由人类去突破思维形成理论，比如“混沌理论”等。尽管科技和智能对研究有很大帮助，但实际上这些都是人类探索精神和独创思维所带来的结果。同时独创思维又与想象力、创新能力结合在一起，不断发挥科技能力来为人类服务，使人类不断走向自由和幸福。
第三，人类之间有温度的交流能力。机器人也许能跟你对话甚至能知道你想要什么，但机器人在某种意义上是冰凉的。当真正的人型机器人长久与你在一起生活，甚至恋爱，你会开始产生厌烦情绪，因为他没有血肉、没有真正有温度的交流能力。这种交流能力与人类的情感能力是紧紧连在一起的。机器人能够把人类的情感输入系统中，通过人工智能的方式筛选、判断你现在的情绪，选择怎么进行交流。但是，人类内心真正渴望的情感、互相之间的感情交流能力，那种无语凝噎的情感，和眉目之间的情愫，人工智能很难达到。
人工智能是人类科技之大成，是基于大数据而形成的一种极聪明的系统。尽管它的学习能力很强，但是它只是对过去东西重复的学习和总结。所以，我认为人类有一个重大的能力，就是人类能够通过不断的学习和判断，获得独到的思想意识的能力，是人工智能不能达到的。比如说人工智能不太容易造就一个曹雪芹，也不太容易造就一个毛泽东，这些人是独特的个性、人格、学习能力、总结能力所构成的，不是人工智能就可以代替的。人工智能无法替代人类的独创能力、想象力、情感能力，有温度的交流能力、真正的学习能力和个性发挥能力。我认为未来的发展需要人和人工智能的结合，这样就能创造一个丰富多彩的、丰满的、幸福的自由境地。
重磅福利！【2017中国互联网+新商业峰会】，6月15-16日两天3000人次，携程创始人梁建章，嘉御基金创始人、前阿里巴巴CEO卫哲，分众传媒创始人江南春等嘉宾已确认出席，期待你的参与，限量钜惠票等你拿！返回搜狐，查看更多
责任编辑：人工智能何以促进未来教育发展
原标题：人工智能何以促进未来教育发展自工业革命以来，人类社会的发展总是在技术与教育的角逐互动中前行。技术作为推动人类历史发展的核心推进力，与教育这一“人力资本发动机”竞相成为推动经济社会发展的主力。人工智能作为第四次工业革命的显著标签，其飞速发展正在逐步塑造社会、经济、生活等领域的业务新形态，也不断带来颠覆性、丰富性、创新性的新业态。面对人工智能技术对整个社会发展的刺激，教育如何发展，成为值得思考的重要问题。
人工智能凸显创新人才发展挑战
作为引发第四次科技革命的核心技术，人工智能促进社会经济和科技的指数级发展，对人力资本的质量与供给产生了新的需求，人工智能与人力资源之间的相互依存关系产生了前所未有的张力，教育的超前性更是受到前所未有的挑战。第一，知识增长的指数发展使得未来人才需要哪些方面的准备具有极大的不确定性。第二，智力劳动者比重增加，创新人才成为时代发展的刚需。人工智能技术与生产过程的深度融合，会极大压缩生产领域的从业者需求，特别是那些人工智能胜出的领域。第三，人工智能技术的兴起引发高技术产业、新兴产业、新型服务行业更广阔的发展空间，从而使得创新型人才、复合型人才、高技术人才等在劳动力结构中需求激增。人工智能技术无法取代的创造性、灵活性、人文性等能力将成为智能化时代人才竞争的关键。教育肩负培养创新人才、为未来人才提前布局的使命。回溯历史，我们可以得到的经验是，只有教育领先于技术的发展步伐，为技术推进的社会提前做好人力资源的布局，社会的发展才有后劲。因此，在人工智能推进社会更飞速发展的今天，必须回答好什么样的教育才能承载提前布局人力资源的使命，以应对未知社会的人才挑战这一问题。
人工智能催生新的知识生产方式
在人工智能的影响下，人类知识生产加剧变化，知识增量呈现指数级态势。教育的传承性发展将不再局限于知识的传授与继承，而强调知识创造与创新，人工智能的介入更是催生了新的知识生产方式。其一，人工智能强大的知识发现能力缩短了知识生产周期。随着深度学习、强化学习等新的机器学习算法的发展，人工智能除了可以加快知识的生产、访问和利用，还可以从数据中提取隐含的、未知的、潜在的、有用的信息（知识），从而扩展知识创造的能力。其二，人机协同的智能模式扩大了知识创造的机会与可能性。人工智能技术不仅促进人的群智协同创新，而且可以实现人类与人工智能代理协同，后者所具有的超强计算能力，可以极大加速知识生产，催生知识的众创，以及人机协同知识创新。人工智能催生的新的知识生产方式对教育的挑战是，教育不再局限于知识传承，而更是知识的创新。未来学校教育必须教会学生如何与人工智能技术协同合作，呵护学习者“能学”，以及高度重视学生辨析知识能力的培养，召唤学习者“会学”，促进学习者在人机交互中实现知识更新与创造。
人工智能变革学习方式带来创造力与活力释放可能
人工智能已经引发了诸多领域与行业的深刻变革，对教育的系统性变革更是呼之欲出，为学习方式的变革带来了可能。首先，人工智能技术带来规模化教育的个性化可能。人工智能构建的智慧学习环境不仅创造灵活的学习空间，还能感知学习情境、识别学生特征，为学生提供个性学习支持。其次，人工智能技术带来标准化教育下的适应性可能。人工智能通过动态学习诊断、反馈与资源推荐的自适应学习机制，可以适应学生动态变化的学习需求，从而打破标准化的教育限制，释放出学生的创造力与活力。最后，人工智能改善结构化的授导方式，释放教师的创造力与教学活力而专注于人性化的学习设计。教师烦琐重复性的工作能够被智能机器所替代，智能分析技术能为教师精准定位学生的学习问题与需求，教师的角色将转向更加优秀的学习设计师，专注于“如何让学生学好”，注重培养学生的能力和思维，将更多时间用于学习活动设计以及与学生的个性化互动交流，为学生提供个性化学习支持服务。人工智能的发展以及与教育教学的深度融合，给教育的改革创新带来了更多选择，教育需要发挥技术的赋能、增能、使能优势满足教育的功用性追求，也要坚守教育的育人初心和使命传递人文性价值，以学生的成长发展为前提探索可以实践的学习方式、学习设计，通过人工智能释放出教育的更大活力。
人工智能引发领域与行业变革催生教育生态升级
人工智能对其他领域与行业的变革影响也会延伸到教育领域，因为教育是关乎社会发展全局的事业。一方面，人工智能所发挥的增强、替代、改善、变革等作用，突出体现在对社会生产和生活各个领域所产生的行业重塑作用，以及对人力的释放。另一方面，这些重塑作用和人力的释放，引发了社会领域与行业的变革，促使了社会人才需求的转向；而教育是社会人才资源输出的重要领地，需要为此作出有力回应，从而催生教育生态升级。人工智能加速了教育深化改革的进程，推动了系统内部的更新再造。数字技术已经对教师学生、课程、教学方式、学习体验、评价、管理等教育要素产生了深刻影响，并通过逐步的再造教育流程，变革着教育生态。而人工智能则在进一步加速这一过程，以一种颠覆性创新的态势，拓展系统内各要素的内涵，改善和延展系统内部关系，重塑教育系统功能与形态。人工智能拓展了教育边界，助推未来学校建设。未来学校将借助技术的力量，把校外学习场所（如科技馆、博物馆）和线上学习场所都纳入“学校”的范畴，整合社会各领域的教育资源，形成一种全新的育人环境。同时，数字孪生等新技术促进现实空间与虚拟空间的交互融合，通过创建人、物、环境数字孪生体，实现物理空间与数字空间的双向映射、动态交互和实时连接。对教育系统内部的升级改造以及空间资源的拓展，能够使其更好地与社会领域衔接，更好地提供适应未来生活和工作的创新人才成长场所。
人工智能关乎强国战略目标实现
教育应服务于国家战略布局，为抢占人工智能发展先机，构筑先发优势；为国际竞争、社会发展输出创新人才，支持科学技术的自主研发。当前，世界各国纷纷把发展人工智能上升到国家战略的高度，以抢占新一轮科技革命的机遇高点以及全球竞争中的主动权。《新一代人工智能发展规划》提出我国要“成为世界主要人工智能创新中心”的战略目标，全局部署了经济、教育、科技、社会发展和国家安全等重要方面。教育强国战略是科教兴国战略、人才强国战略和创新驱动发展战略等重要战略的逻辑起点，人工智能对教育的人才培养能力提出更高要求。近年来，世界各国在发展人工智能的同时也面临巨大挑战，如创新人才问题、高新技术自主可控问题等。人工智能的国际竞争本质是人才的较量，这需要教育从战略层面予以回应。因此，教育在战略上起引领作用，就要既充分发挥智能技术优势推动教育生态系统升级，又谋篇布局为国家发展提供人才支撑。立足技术与教育在角逐中互为塑造的视角，对人工智能促进未来教育发展的探索，更需要在战略上把握先机，通过教育为社会各领域输出创新人才，支撑社会各领域转型升级以及人工智能等高新科技的创新发展，为强国战略注入持续活力与能量。
教育在与技术的角逐中共同推动社会的发展。教育具有超前性、人文性、传承性、战略性及生态性等特点。在人工智能技术的指数式发展面前，教育的超前性变得难以维系；需要慢工出细活的人文性与满足社会用人需求的工具性之间呈现时空拉锯和矛盾；对人类知识的传承则变身为历史传承、人际共创以及人机共创的多重特征。随着人工智能技术推动的发展加速，教育的发展战略、前瞻性谋划，是一个时不我待、任重道远的重要课题。
（作者：顾小清，系国家社科基金重大项目“人工智能促进未来教育发展研究”首席专家、华东师范大学教育信息技术学系教授）
(责编：郝孟佳、孙竞)分享让更多人看到