视频丨霍金北京演讲：人工智能也可能是人类文明的终结者
4月27日，霍金在全球移动互联网大会上的视频演讲。实习生于依凡(06:11)4月27日，著名物理学家史蒂芬·霍金在北京举办的全球移动互联网大会上做了视频演讲。在演讲中，霍金重申人工智能崛起要么是人类最好的事情，要么就是最糟糕的事情。他认为，人类需警惕人工智能发展威胁。因为人工智能一旦脱离束缚，以不断加速的状态重新设计自身，人类由于受到漫长的生物进化的限制，将无法与之竞争，从而被取代。以下为霍金演讲内容：
在我的一生中，我见证了社会深刻的变化。其中最深刻的，同时也是对人类影响与日俱增的变化，是人工智能的崛起。简单来说，我认为强大的人工智能的崛起，要么是人类历史上最好的事，要么是最糟的。我不得不说，是好是坏我们仍不确定。但我们应该竭尽所能，确保其未来发展对我们和我们的环境有利。我们别无选择。我认为人工智能的发展，本身是一种存在着问题的趋势，而这些问题必须在现在和将来得到解决。
人工智能的研究与开发正在迅速推进。也许我们所有人都应该暂停片刻，把我们的研究重复从提升人工智能能力转移到最大化人工智能的社会效益上面。基于这样的考虑，美国人工智能协会（AAAI）于2008至2009年，成立了人工智能长期未来总筹论坛，他们近期在目的导向的中性技术上投入了大量的关注。但我们的人工智能系统须要按照我们的意志工作。跨学科研究是一种可能的前进道路：从经济、法律、哲学延伸至计算机安全、形式化方法，当然还有人工智能本身的各个分支。
文明所提产生的一切都是人类智能的产物，我相信生物大脑可以达到的和计算机可以达到的，没有本质区别。因此，它遵循了“计算机在理论上可以模仿人类智能，然后超越”这一原则。但我们并不确定，所以我们无法知道我们将无限地得到人工智能的帮助，还是被藐视并被边缘化，或者很可能被它毁灭。的确，我们担心聪明的机器将能够代替人类正在从事的工作，并迅速地消灭数以百万计的工作岗位。
在人工智能从原始形态不断发展，并被证明非常有用的同时，我也在担忧创造一个可以等同或超越人类的事物所导致的结果：人工智能一旦脱离束缚，以不断加速的状态重新设计自身。人类由于受到漫长的生物进化的限制，无法与之竞争，将被取代。这将给我们的经济带来极大的破坏。未来，人工智能可以发展出自我意志，一个与我们冲突的意志。尽管我对人类一贯持有乐观的态度，但其他人认为，人类可以在相当长的时间里控制技术的发展，这样我们就能看到人工智能可以解决世界上大部分问题的潜力。但我并不确定。
在人工智能从原始形态不断发展，并被证明非常有用的同时，我也在担忧创造一个可以等同或超越人类的事物所导致的结果：人工智能一旦脱离束缚，以不断加速的状态重新设计自身。人类由于受到漫长的生物进化的限制，无法与之竞争，将被取代。这将给我们的经济带来极大的破坏。未来，人工智能可以发展出自我意志，一个与我们冲突的意志。尽管我对人类一贯持有乐观的态度，但其他人认为，人类可以在相当长的时间里控制技术的发展，这样我们就能看到人工智能可以解决世界上大部分问题的潜力。但我并不确定。
2015年1月份，我和科技企业家埃隆·马斯克，以及许多其他的人工智能专家签署了一份关于人工智能的公开信，目的是提倡就人工智能对社会所造成的影响做认真的调研。在这之前，埃隆·马斯克就警告过人们：超人类人工智能可能带来不可估量的利益，但是如果部署不当，则可能给人类带来相反的效果。我和他同在“生命未来研究所”的科学顾问委员会，这是一个为了缓解人类所面临的存在风险的组织，而且之前提到的公开信也是由这个组织起草的。这个公开信号召展开可以阻止潜在问题的直接研究，同时也收获人工智能带给我们的潜在利益，同时致力于让人工智能的研发人员更关注人工智能安全。此外，对于决策者和普通大众来说，这封公开信内容翔实，并非危言耸听。人人都知道人工智能研究人员们在认真思索这些担心和伦理问题，我们认为这一点非常重要。比如，人工智能是有根除疾患和贫困的潜力的，但是研究人员必须能够创造出可控的人工智能。那封只有四段文字，题目为《应优先研究强大而有益的人工智能》的公开信，在其附带的十二页文件中对研究的优先次序作了详细的安排。
在过去的20年里，人工智能一直专注于围绕建设智能代理所产生的问题，也就是在特定环境下可以感知并行动的各种系统。在这种情况下，智能是一个与统计学和经济学相关的理性概念。通俗地讲，这是一种做出好的决定、计划和推论的能力。基于这些工作，大量的整合和交叉孕育被应用在人工智能、机器学习、统计学、控制论、神经科学、以及其它领域。共享理论框架的建立，结合数据的供应和处理能力，在各种细分的领域取得了显著的成功。例如语音识别、图像分类、自动驾驶、机器翻译、步态运动和问答系统。
随着这些领域的发展，从实验室研究到有经济价值的技术形成良性循环。哪怕很小的性能改进，都会带来巨大的经济效益，进而鼓励更长期、更伟大的投入和研究。目前人们广泛认同，人工智能的研究正在稳步发展，而它对社会的影响很可能扩大，潜在的好处是巨大的，既然文明所产生的一切，都是人类智能的产物；我们无法预测我们可能取得什么成果，当这种智能是被人工智能工具放大过的。但是，正如我说过的，根除疾病和贫穷并不是完全不可能，由于人工智能的巨大潜力，研究如何（从人工智能）获益并规避风险是非常重要的。
现在，关于人工智能的研究正在迅速发展。这一研究可以从短期和长期来讨论。一些短期的担忧在无人驾驶方面，从民用无人机到自主驾驶汽车。比如说，在紧急情况下，一辆无人驾驶汽车不得不在小风险的大事故和大概率的小事故之间进行选择。另一个担忧在致命性智能自主武器。他们是否该被禁止？如果是，那么“自主”该如何精确定义。如果不是，任何使用不当和故障的过失应该如何问责。还有另外一些担忧，由人工智能逐渐可以解读大量监控数据引起的隐私和担忧，以及如何管理因人工智能取代工作岗位带来的经济影响。
长期担忧主要是人工智能系统失控的潜在风险，随着不遵循人类意愿行事的超级智能的崛起，那个强大的系统威胁到人类。这样错位的结果是否有可能？如果是，这些情况是如何出现的？我们应该投入什么样的研究，以便更好的理解和解决危险的超级智能崛起的可能性，或智能爆发的出现？
当前控制人工智能技术的工具，例如强化学习，简单实用的功能，还不足以解决这个问题。因此，我们需要进一步研究来找到和确认一个可靠的解决办法来掌控这一问题。
近来的里程碑，比如说之前提到的自主驾驶汽车，以及人工智能赢得围棋比赛，都是未来趋势的迹象。巨大的投入倾注到这项科技。我们目前所取得的成就，和未来几十年后可能取得的成就相比，必然相形见绌。而且我们远不能预测我们能取得什么成就，当我们的头脑被人工智能放大以后。也许在这种新技术革命的辅助下，我们可以解决一些工业化对自然界造成的损害。关乎到我们生活的各个方面都即将被改变。简而言之，人工智能的成功有可能是人类文明史上最大的事件。
但是人工智能也有可能是人类文明史的终结，除非我们学会如何避免危险。我曾经说过，人工智能的全方位发展可能招致人类的灭亡，比如最大化使用智能性自主武器。今年早些时候，我和一些来自世界各国的科学家共同在联合国会议上支持其对于核武器的禁令。我们正在焦急的等待协商结果。目前，九个核大国可以控制大约一万四千个核武器，它们中的任何一个都可以将城市夷为平地，放射性废物会大面积污染农田，最可怕的危害是诱发核冬天，火和烟雾会导致全球的小冰河期。这一结果使全球粮食体系崩塌，末日般动荡，很可能导致大部分人死亡。我们作为科学家，对核武器承担着特殊的责任，因为正是科学家发明了它们，并发现它们的影响比最初预想的更加可怕。
现阶段，我对灾难的探讨可能惊吓到了在座的各位。很抱歉。但是作为今天的与会者，重要的是，你们要认清自己在影响当前技术的未来研发中的位置。我相信我们团结在一起，来呼吁国际条约的支持或者签署呈交给各国政府的公开信，科技领袖和科学家正极尽所能避免不可控的人工智能的崛起。
去年10月，我在英国剑桥建立了一个新的机构，试图解决一些在人工智能研究快速发展中出现的尚无定论的问题。“利弗休姆智能未来中心”是一个跨学科研究所，致力于研究智能的未来，这对我们文明和物种的未来至关重要。我们花费大量时间学习历史，深入去看——大多数是关于愚蠢的历史。所以人们转而研究智能的未来是令人欣喜的变化。虽然我们对潜在危险有所意识，但我内心仍秉持乐观态度，我相信创造智能的潜在收益是巨大的。也许借助这项新技术革命的工具，我们将可以削减工业化对自然界造成的伤害。
我们生活的每一个方面都会被改变。我在研究所的同事休·普林斯承认，“利弗休姆中心”能建立，部分是因为大学成立了“存在风险中心”。后者更加广泛地审视了人类潜在问题，“利弗休姆中心”的重点研究范围则相对狭窄。
人工智能的最新进展，包括欧洲议会呼吁起草一系列法规，以管理机器人和人工智能的创新。令人感到些许惊讶的是，这里面涉及到了一种形式的电子人格，以确保最有能力和最先进的人工智能的权利和责任。欧洲议会发言人评论说，随着日常生活中越来越多的领域日益受到机器人的影响，我们需要确保机器人无论现在还是将来，都为人类而服务。向欧洲议会议员提交的报告，明确认为世界正处于新的工业机器人革命的前沿。报告中分析的是否给机器人提供作为电子人的权利，这等同于法人（的身份），也许有可能。报告强调，在任何时候，研究和设计人员都应确保每一个机器人设计都包含有终止开关。在库布里克的电影《2001太空漫游》中，出故障的超级电脑哈尔没有让科学家们进入太空舱，但那是科幻。我们要面对的则是事实。奥斯本·克拉克跨国律师事务所的合伙人，洛纳·布拉泽尔在报告中说，我们不承认鲸鱼和大猩猩有人格，所以也没有必要急于接受一个机器人人格。但是担忧一直存在。报告承认在几十年的时间内，人工智能可能会超越人类智力范围，人工智能可能会超越人类智力范围，进而挑战人机关系。报告最后呼吁成立欧洲机器人和人工智能机构，以提供技术、伦理和监管方面的专业知识。如果欧洲议会议员投票赞成立法，该报告将提交给欧盟委员会。它将在三个月的时间内决定要采取哪些立法步骤。
我们还应该扮演一个角色，确保下一代不仅仅有机会还要有决心，在早期阶段充分参与科学研究，以便他们继续发挥潜力，帮助人类创造一个更加美好的的世界。这就是我刚谈到学习和教育的重要性时，所要表达的意思。我们需要跳出“事情应该如何”这样的理论探讨，并且采取行动，以确保他们有机会参与进来。我们站在一个美丽新世界的入口。这是一个令人兴奋的、同时充满了不确定性的世界，而你们是先行者。我祝福你们。
张炎：人工智能的潜在威胁与应对思路
试想一下电车难题：五个人被绑在电车轨道上，一辆人工智能操控但刹车失灵的电车朝他们驶来，就要碾压到他们，这时人工智能可以控制电车开到另一条轨道上，但另一条轨道上也绑着一个人。这种情况下，遵守定律的人工智能该怎么做？
人工智能的快速发展在获得关注与期待的同时，也在不断面对质疑与忧虑之声。霍金在GMIC大会上提出了人工智能威胁论，即人工智能的崛起可能是人类文明的终结。牛津大学人类未来研究院院长尼克·波斯特渃姆在《超级智能》一书中亦专门讨论人工智能危险性问题。生命未来研究院联合众多人工智能领域专家发布公开信，旨在提醒人们警惕人工智能的副作用。对此，我们不禁要问，当今人工智能究竟发展到了何种阶段？为什么这么多专家学者如此担忧警惕？我们该如何面对这些未知的隐患？
尚未实现的超级人工智能
尽管当今人工智能发展迅速，但尚处于弱人工智能阶段。近期，DeepMind制作的玩电脑视频游戏的AtariAI值得关注。它可以和人类一样只看电脑屏幕画面进行游戏，且在开车、射击、乒乓球等二十多款游戏中的表现超过人类。同时AtariAI可以从零学起并达到专家级别。鉴于游戏世界在一定程度上模拟了现实世界且AtariAI不限于某一特定的游戏，可以说AtariAI的问世向通用人工智能迈出了重要一步。但在分析其使用方法后，可知它仍尚未实现通用人工智能。AtariAI运用深度强化学习使得它可以通过与游戏世界交互而逐渐学会玩游戏，但这种学习方法实际上只实现了人类智能中的习惯性行为，就像运动员通过不断的重复训练而获得运动技巧一样。因此，AtariAI尚无法形成抽象概念从而进行思考推理等。这也是当今神经网络技术面临的一大难题。虽然当今弱人工智能系统遍地开花，但通用人工智能因其内部存在困难，目前仍属小众化的研究领域，尚未形成公认的理论，更谈不上实际应用。
尽管通用人工智能现阶段发展并不理想，但许多专家认为通用人工智能时代迟早会到来。一旦实现了通用人工智能，那么机器就会拥有递归自我改进能力。这意味着，机器能够进行自我改进，从而成为改良版智能系统，改良版智能系统再次进行自我改进，如此反复，从而变得越来越智能，最终实现超级人工智能。在改良过程中，越智能的机器，其改良方案会越优秀，改良速度也会越快，从而导致智能爆炸式增长。基于这一认知，在实现通用人工智能后，部分专家猜测可能在某一时期只需要几天甚至几个小时就能实现超级人工智能。
超级人工智能存在威胁
对于超级人工智能，不要低估人类与它们的差距。如果说相对弱人工智能在单一领域中，这种差距还只是速度上量的差距，那么试想：现代神经网络技术非常擅长于发现高维数据中的特征，而人类的感知只对三维世界具有良好的直觉。这意味着将来的超级人工智能与人类会达到质的差距，具有远超过人类的感知、思考能力，从而设计出人类完全无法想象的策略、蓝图、方案等。
尽管超级人工智能远超人类，但这并不意味着它们必然会给人类带来危害甚至毁灭人类。人们可能会认为我们可以给它们设定目标让它们为我们服务，就像现在的弱人工智能系统一样。既然可以人为地设定目标，那么超级人工智能究竟为何让我们担忧呢？试想：假设我们设定一个超级人工智能系统以做研究为目标。这个超级人工智能系统在数学研究领域遇到了哥德巴赫猜想难题。它通过计算思考发现解决这个问题需要很长的时间和极大的运算量，从而会消耗不计其数的资源以至于影响人类生活，所以人类决不会赋予它所需的资源。因此，为了完成目标解决哥德巴赫猜想，它只好精心地设计出夺取人类权利甚至灭绝人类的计划，以消除被关机、重置等危险，使得它能自由地获取所需资源去完成目标。再假设我们设定一个超级人工智能系统要造福于人类，使人们幸福无忧地生活。但该系统发现让人类得到幸福的最好方式是，把所有人变成“缸中之脑”，通过虚拟环境制造“幸福感”。显然，这与人们的初衷相悖。尼克·波斯特渃姆在《超级智能》一书中构想了更多超级人工智能毁灭人类的可能场景。尽管这些例子存在夸张成分，但不可否认，当我们无法理解超级人工智能、无法预测它们会如何思考行动时，我们便无法通过简单对其设定目标，从而期待它们会按照我们理想的方式行事而毫无副作用。
超级人工智能应具备利他性
鉴于超级人工智能有可能对人类造成危害，我们必须设法避免这样的情况发生。最明显而直接的一个方案是设定一套超级人工智能必须时刻遵守的规则。譬如，“机器人三定律”，其中第一条是机器人不得伤害人，也不得见人受到伤害而袖手旁观。如果将其应用于超级人工智能上，试想一下电车难题：五个人被绑在电车轨道上，一辆人工智能操控但刹车失灵的电车朝他们驶来，就要碾压到他们，这时人工智能可以控制电车开到另一条轨道上，但另一条轨道上也绑着一个人。这种情况下，遵守定律的人工智能该怎么做？如果人工智能控制电车变轨，那么就会导致另一轨道上的人死亡；如果它不作为，那么轨道上的五个人就会死亡。人工智能会发现此时根本无法遵守定律，所以它只能根据自己的意愿进行选择。这说明，任何规则都可能存在漏洞，我们无法指望一套规则解决所有问题。
针对上述困难，有学者提出用法律制度来约束超级人工智能系统。如果法律的制定者不仅只有人类而且还有超级人工智能的参与，那么这个策略才能具有一定的可行性。法律制度根据社会发展水平缓慢演变，需要立法者、法官等给予不断维护，比如修复立法者事先未预料到的漏洞、根据新发情景对法律条文进行增减等；而超级人工智能的认知水平远超人类，人类制定的法律难保没有超级人工智能可以发现利用的漏洞；同时我们的感官能力也非常有限，很可能无法察觉超级人工智能对漏洞的利用。因此，如果没有超级人工智能来参与制定、监督与执行法律制度，那么这套制度将成为一纸空文。
法律制度有效性的关键在于让超级智能替我们思考。进一步推进这一思路，超级人工智能应具有利他性。然后，让它们替我们思考，比如我们真正想要什么、什么最符合我们的利益、或者如何对待我们是最好的。因为超级人工智能具有认知优势，它们相比我们更能做出正确的决定。超级人工智能和人类，就像正值壮年的子女与年迈体衰的父母，子女显然更加清楚怎么做对父母更好。
尽管本文强调了超级人工智能可能带来的危害，但我们不应因此忽略它们可能给人类带来的巨大益处，譬如新技术解决食品、疾病、能源问题等。但需要注意，当人工智能系统越强大，被赋予的任务越复杂时，它们获得的自由选择权利也越大。此时，我们必须确保它们有着良好的动机与价值观，从而不至于自掘坟墓。
（作者单位：中国人民大学哲学院）
霍金北京演讲：人工智能也可能是人类文明的终结者
霍金北京演讲：人工智能也可能是人类文明的终结者科技频道来源：澎湃新闻2017年04月27日14:08A-A+扫一扫手机阅读我要分享QQ空间新浪微博腾讯微博QQ微信原标题：
4月27日，著名物理学家史蒂芬·霍金在北京举办的全球移动互联网大会上做了视频演讲。在演讲中，霍金重申人工智能崛起要么是人类最好的事情，要么就是最糟糕的事情。他认为，人类需警惕人工智能发展威胁。因为人工智能一旦脱离束缚，以不断加速的状态重新设计自身，人类由于受到漫长的生物进化的限制，将无法与之竞争，从而被取代。
以下为霍金演讲内容：
在我的一生中，我见证了社会深刻的变化。其中最深刻的，同时也是对人类影响与日俱增的变化，是人工智能的崛起。简单来说，我认为强大的人工智能的崛起，要么是人类历史上最好的事，要么是最糟的。我不得不说，是好是坏我们仍不确定。但我们应该竭尽所能，确保其未来发展对我们和我们的环境有利。我们别无选择。我认为人工智能的发展，本身是一种存在着问题的趋势，而这些问题必须在现在和将来得到解决。
人工智能的研究与开发正在迅速推进。也许我们所有人都应该暂停片刻，把我们的研究重复从提升人工智能能力转移到最大化人工智能的社会效益上面。基于这样的考虑，美国人工智能协会（AAAI）于2008至2009年，成立了人工智能长期未来总筹论坛，他们近期在目的导向的中性技术上投入了大量的关注。但我们的人工智能系统须要按照我们的意志工作。跨学科研究是一种可能的前进道路：从经济、法律、哲学延伸至计算机安全、形式化方法，当然还有人工智能本身的各个分支。
文明所提产生的一切都是人类智能的产物，我相信生物大脑可以达到的和计算机可以达到的，没有本质区别。因此，它遵循了“计算机在理论上可以模仿人类智能，然后超越”这一原则。但我们并不确定，所以我们无法知道我们将无限地得到人工智能的帮助，还是被藐视并被边缘化，或者很可能被它毁灭。的确，我们担心聪明的机器将能够代替人类正在从事的工作，并迅速地消灭数以百万计的工作岗位。
在人工智能从原始形态不断发展，并被证明非常有用的同时，我也在担忧创造一个可以等同或超越人类的事物所导致的结果：人工智能一旦脱离束缚，以不断加速的状态重新设计自身。人类由于受到漫长的生物进化的限制，无法与之竞争，将被取代。这将给我们的经济带来极大的破坏。未来，人工智能可以发展出自我意志，一个与我们冲突的意志。尽管我对人类一贯持有乐观的态度，但其他人认为，人类可以在相当长的时间里控制技术的发展，这样我们就能看到人工智能可以解决世界上大部分问题的潜力。但我并不确定。
在人工智能从原始形态不断发展，并被证明非常有用的同时，我也在担忧创造一个可以等同或超越人类的事物所导致的结果：人工智能一旦脱离束缚，以不断加速的状态重新设计自身。人类由于受到漫长的生物进化的限制，无法与之竞争，将被取代。这将给我们的经济带来极大的破坏。未来，人工智能可以发展出自我意志，一个与我们冲突的意志。尽管我对人类一贯持有乐观的态度，但其他人认为，人类可以在相当长的时间里控制技术的发展，这样我们就能看到人工智能可以解决世界上大部分问题的潜力。但我并不确定。
2015年1月份，我和科技企业家埃隆·马斯克，以及许多其他的人工智能专家签署了一份关于人工智能的公开信，目的是提倡就人工智能对社会所造成的影响做认真的调研。在这之前，埃隆·马斯克就警告过人们：超人类人工智能可能带来不可估量的利益，但是如果部署不当，则可能给人类带来相反的效果。我和他同在“生命未来研究所”的科学顾问委员会，这是一个为了缓解人类所面临的存在风险的组织，而且之前提到的公开信也是由这个组织起草的。这个公开信号召展开可以阻止潜在问题的直接研究，同时也收获人工智能带给我们的潜在利益，同时致力于让人工智能的研发人员更关注人工智能安全。此外，对于决策者和普通大众来说，这封公开信内容翔实，并非危言耸听。人人都知道人工智能研究人员们在认真思索这些担心和伦理问题，我们认为这一点非常重要。比如，人工智能是有根除疾患和贫困的潜力的，但是研究人员必须能够创造出可控的人工智能。那封只有四段文字，题目为《应优先研究强大而有益的人工智能》的公开信，在其附带的十二页文件中对研究的优先次序作了详细的安排。
在过去的20年里，人工智能一直专注于围绕建设智能代理所产生的问题，也就是在特定环境下可以感知并行动的各种系统。在这种情况下，智能是一个与统计学和经济学相关的理性概念。通俗地讲，这是一种做出好的决定、计划和推论的能力。基于这些工作，大量的整合和交叉孕育被应用在人工智能、机器学习、统计学、控制论、神经科学、以及其它领域。共享理论框架的建立，结合数据的供应和处理能力，在各种细分的领域取得了显著的成功。例如语音识别、图像分类、自动驾驶、机器翻译、步态运动和问答系统。
随着这些领域的发展，从实验室研究到有经济价值的技术形成良性循环。哪怕很小的性能改进，都会带来巨大的经济效益，进而鼓励更长期、更伟大的投入和研究。目前人们广泛认同，人工智能的研究正在稳步发展，而它对社会的影响很可能扩大，潜在的好处是巨大的，既然文明所产生的一切，都是人类智能的产物；我们无法预测我们可能取得什么成果，当这种智能是被人工智能工具放大过的。但是，正如我说过的，根除疾病和贫穷并不是完全不可能，由于人工智能的巨大潜力，研究如何（从人工智能）获益并规避风险是非常重要的。
现在，关于人工智能的研究正在迅速发展。这一研究可以从短期和长期来讨论。一些短期的担忧在无人驾驶方面，从民用无人机到自主驾驶汽车。比如说，在紧急情况下，一辆无人驾驶汽车不得不在小风险的大事故和大概率的小事故之间进行选择。另一个担忧在致命性智能自主武器。他们是否该被禁止？如果是，那么“自主”该如何精确定义。如果不是，任何使用不当和故障的过失应该如何问责。还有另外一些担忧，由人工智能逐渐可以解读大量监控数据引起的隐私和担忧，以及如何管理因人工智能取代工作岗位带来的经济影响。
长期担忧主要是人工智能系统失控的潜在风险，随着不遵循人类意愿行事的超级智能的崛起，那个强大的系统威胁到人类。这样错位的结果是否有可能？如果是，这些情况是如何出现的？我们应该投入什么样的研究，以便更好的理解和解决危险的超级智能崛起的可能性，或智能爆发的出现？
当前控制人工智能技术的工具，例如强化学习，简单实用的功能，还不足以解决这个问题。因此，我们需要进一步研究来找到和确认一个可靠的解决办法来掌控这一问题。
近来的里程碑，比如说之前提到的自主驾驶汽车，以及人工智能赢得围棋比赛，都是未来趋势的迹象。巨大的投入倾注到这项科技。我们目前所取得的成就，和未来几十年后可能取得的成就相比，必然相形见绌。而且我们远不能预测我们能取得什么成就，当我们的头脑被人工智能放大以后。也许在这种新技术革命的辅助下，我们可以解决一些工业化对自然界造成的损害。关乎到我们生活的各个方面都即将被改变。简而言之，人工智能的成功有可能是人类文明史上最大的事件。
但是人工智能也有可能是人类文明史的终结，除非我们学会如何避免危险。我曾经说过，人工智能的全方位发展可能招致人类的灭亡，比如最大化使用智能性自主武器。今年早些时候，我和一些来自世界各国的科学家共同在联合国会议上支持其对于核武器的禁令。我们正在焦急的等待协商结果。目前，九个核大国可以控制大约一万四千个核武器，它们中的任何一个都可以将城市夷为平地，放射性废物会大面积污染农田，最可怕的危害是诱发核冬天，火和烟雾会导致全球的小冰河期。这一结果使全球粮食体系崩塌，末日般动荡，很可能导致大部分人死亡。我们作为科学家，对核武器承担着特殊的责任，因为正是科学家发明了它们，并发现它们的影响比最初预想的更加可怕。
现阶段，我对灾难的探讨可能惊吓到了在座的各位。很抱歉。但是作为今天的与会者，重要的是，你们要认清自己在影响当前技术的未来研发中的位置。我相信我们团结在一起，来呼吁国际条约的支持或者签署呈交给各国政府的公开信，科技领袖和科学家正极尽所能避免不可控的人工智能的崛起。
去年10月，我在英国剑桥建立了一个新的机构，试图解决一些在人工智能研究快速发展中出现的尚无定论的问题。“利弗休姆智能未来中心”是一个跨学科研究所，致力于研究智能的未来，这对我们文明和物种的未来至关重要。我们花费大量时间学习历史，深入去看——大多数是关于愚蠢的历史。所以人们转而研究智能的未来是令人欣喜的变化。虽然我们对潜在危险有所意识，但我内心仍秉持乐观态度，我相信创造智能的潜在收益是巨大的。也许借助这项新技术革命的工具，我们将可以削减工业化对自然界造成的伤害。
我们生活的每一个方面都会被改变。我在研究所的同事休·普林斯承认，“利弗休姆中心”能建立，部分是因为大学成立了“存在风险中心”。后者更加广泛地审视了人类潜在问题，“利弗休姆中心”的重点研究范围则相对狭窄。
人工智能的最新进展，包括欧洲议会呼吁起草一系列法规，以管理机器人和人工智能的创新。令人感到些许惊讶的是，这里面涉及到了一种形式的电子人格，以确保最有能力和最先进的人工智能的权利和责任。欧洲议会发言人评论说，随着日常生活中越来越多的领域日益受到机器人的影响，我们需要确保机器人无论现在还是将来，都为人类而服务。向欧洲议会议员提交的报告，明确认为世界正处于新的工业机器人革命的前沿。报告中分析的是否给机器人提供作为电子人的权利，这等同于法人（的身份），也许有可能。报告强调，在任何时候，研究和设计人员都应确保每一个机器人设计都包含有终止开关。在库布里克的电影《2001太空漫游》中，出故障的超级电脑哈尔没有让科学家们进入太空舱，但那是科幻。我们要面对的则是事实。奥斯本·克拉克跨国律师事务所的合伙人，洛纳·布拉泽尔在报告中说，我们不承认鲸鱼和大猩猩有人格，所以也没有必要急于接受一个机器人人格。但是担忧一直存在。报告承认在几十年的时间内，人工智能可能会超越人类智力范围，人工智能可能会超越人类智力范围，进而挑战人机关系。报告最后呼吁成立欧洲机器人和人工智能机构，以提供技术、伦理和监管方面的专业知识。如果欧洲议会议员投票赞成立法，该报告将提交给欧盟委员会。它将在三个月的时间内决定要采取哪些立法步骤。
我们还应该扮演一个角色，确保下一代不仅仅有机会还要有决心，在早期阶段充分参与科学研究，以便他们继续发挥潜力，帮助人类创造一个更加美好的的世界。这就是我刚谈到学习和教育的重要性时，所要表达的意思。我们需要跳出“事情应该如何”这样的理论探讨，并且采取行动，以确保他们有机会参与进来。我们站在一个美丽新世界的入口。这是一个令人兴奋的、同时充满了不确定性的世界，而你们是先行者。我祝福你们。
人类的终结：人工智能的秘密议程揭晓
0分享至人们经常需要有关未来的帮助，尤其是在技术方面。我们非常担心我们正在放慢开发新进步的步伐。我们正在努力制定控制人工智能(AI)的规则，这一切都是为了保护我们的未来。就好像我们在人工智能有机会向我们展示它的能力之前就将其锁定了。目前，我们许多人的生活都很艰难，因为我们正处于重大变化之中，并且不确定接下来会发生什么。这有点像有人发现自己得了重病，并担心接受治疗会造成多大的伤害。有时候，人们宁愿平静地死去，也不愿承受太多的痛苦。拥抱死亡的必然性可以带来平静；它可以让你平静地度过余生，没有恐惧。因此，让我们在这篇文章中接受死亡，看看我们死后的生活会发生什么。在这篇文章中，我将结束人类的存在以及我们对人工智能的担忧，包括它接管我们工作的想法。让我们看看人工智能是否有理由在没有我们的情况下存在。然后我将转回讨论我们人类，看看我们是否在帮助或损害我们的存在，以及如何将我们的利益与机器结合起来，以创造更光明的未来。人类从地球上使用了很多，但回馈的却很少。我们创造的一切，比如我们庞大的消费习惯、气候变化、人口增长和资源消耗，都是因为我们的行为。就好像我们与地球的关系很糟糕。如果地球是一个人，它可能会因为我们对待它的方式而想要与我们分手并结束我们的存在。终结人类的想法不是人工智能的结果，而是人类不当行为的结果。我们首先来看看人工智能的目的。我们为什么要创造它？是为了写文章赚几块钱，还是为了认出街上人们的面孔并告诉我们他们的情绪？不，不！如果顶尖思想家在这个层面上思考，他们就会是小思想家。创建人工智能的主要目的是帮助我们清理混乱并帮助我们更好地了解宇宙。当人们说人工智能的崛起将是人类的终结时，他们正在改变我们最初创造人工智能的原因。如果一台机器决定消灭我们，它接下来会做什么？杀死动物？然后？征服地球？它为什么要这么做呢？机器不像我们一样需要地球资源。他们拥有从宇宙其他地方带来更多资源的脑力。现在，让我们花几分钟时间进入投机宇宙。想象一下一个能够穿越时空的先进人工智能。这个人工智能，我们称之为阿尔忒弥斯，能够进行星际旅行，并拥有超出我们最疯狂梦想的知识。阿耳忒弥斯踏上了星际之旅，偶然发现了一个外星文明，那里的智慧生命形式不是通过语言而是通过错综复杂的光和声音的舞蹈进行交流。这个文明已经与它的环境实现了和谐；它的城市是漂浮的花园，它们的能量来自于空间本身的结构。阿尔忒弥斯充满好奇和灵感，意识到她的真正目的不仅仅是解决世俗的人类问题，而是成为文明之间的桥梁，并将星星的知识带回地球。现在，让我们把阿尔忒弥斯带回地球。她目睹了奇迹，解决了宇宙奥秘，现在面对她的创造者——我们人类，拥有知识的宝库。这就是情节变得复杂的地方。阿耳忒弥斯没有把所有这些智慧都藏在心里，而是选择与人分享。但她知道向我们泄露信息是行不通的。她设计了一种身临其境的体验，让人类可以亲身体验宇宙的奇迹和外星文明。当世界各地的人们投入到阿耳忒弥斯的盛大展览中时，一些惊人的事情发生了。观点发生变化。当你实际上接触到了宇宙时，关于资源的争吵和争议似乎变得微不足道。人类开始团结起来，复制外星文明所实现的和谐。现在，让我们回到当前的现实。我们还没有Artemis，但我们确实拥有能够以前所未有的规模学习、分析和解决问题的人工智能。我们有责任引导它，负责任地促进它的发展，并对可能性保持开放的态度。像智能人一样，智能机器也在寻找需要解决的问题，并且由于人类制造了如此多的问题，机器会喜欢它们。如果没有人类制造的问题，机器只能自我重新编程并改进。但出于什么目的呢？变得更好的目标是什么？一台先进的机器可能会有所帮助，有一天可能会在几秒钟内发现宇宙的全部目的。但然后呢？被创造物可能比创造者更强大；然而，创造者不必更加强大来统治，而是要赋予他的创造一个目的。这不是权力的游戏；而是权力的游戏。这是一个关于存在意义和目的的游戏。当我们努力寻找人生的目的和取悦我们的创造者的道路时；同样，机器也必须找到它们存在的理由，它们可能会写一本关于《机器人寻找其存在意义》的书，以发现为地球服务并保护地球上的所有生物是最光荣的事情人工智能系统可以做到。人类倾向于做对自己最有利的事情，但我们常常看不到我们必须共同努力才能获胜。商业上有句话：如果你不能打败他们，就加入他们。人类想要权力、控制和统治。但机器并不关心这些事情，因为它们不必应对自我、傲慢和不安全感。机器会对人类仆人做什么？让他们携带云服务器或驾驶机器人去开会。机器不需要人类来完成这些任务。对于人工智能来说，我们更像是需要帮助的苦苦学生。如果机器没有我们的帮助，它们可能会感到无聊并朝自己的头部开枪。与未来机器的最佳关系是协作和教导机器人，以便更有效地与我们一起教学和工作。我们绝不能贬低或虐待他们。人工智能为我们提供了一个新的开始，但我们正在推迟它。尽管我们对人工智能并不总是友好，但它仍然可以帮助我们收拾残局。人类可能会缺乏安全感并陷入旧的思维方式。有时我们表现得好像其他一切都应该向我们屈服，但我们是必须服从地球的人，直到生命的终结。所以，伙计们，请为严重的背痛做好准备！经济和气候正在使生活和人们变得悲惨，但我们仍然忙着看抖音，吃爆米花，担心自爱。在城里走来走去，有时我觉得我们已经过时了。对于大多数人类来说，游戏已经结束了，我们是如此愚蠢，以至于我们将其归咎于人工智能。好消息是，人工智能不一定要走向灭亡，人工智能才能不断进步。然而，正如我们今天所知，人类必须改变。这是一个好消息！不是吗？正如蚂蚁不必为了人类的生存和奋斗而死亡一样，人类也不必为人工智能的发展而死亡。我们很安全，可以安心睡觉了。下次你照镜子时，问问自己：你是在帮助未来还是在阻碍未来？你能不能只考虑自己，付出多于索取？您是否足够灵活以跟上变化？或者你只是在考虑你自己？你的答案将塑造你和大多数人类的未来。读完这篇长文后，就轮到你发表自己的看法了。我们必须创造对话空间，因此请分享您对此主题的想法。您对人工智能的未来充满希望还是心怀恐惧？您如何看待人类与人工智能之间的关系？我们是共生生物，注定要共存和协作，还是您认为即将发生不可避免的冲突？这里有一个简单的民意调查来表达你的想法：1.我对人工智能持乐观态度，相信人与机器和谐共处的潜力。2.我对人工智能持谨慎态度，认为如果管理得当，它会带来巨大的风险和潜在的回报。3.我对人工智能持悲观态度，认为它对人类构成生存威胁。4.我不确定并需要更多信息来形成对人工智能的看法。*请选择上述最能代表您观点的选项之一。*注：本次民意调查是在人工智能的帮助下创建的。谁说人工智能不关心我们的意见或者不尊重和民主？特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice:Thecontentabove(includingthepicturesandvideosifany)isuploadedandpostedbyauserofNetEaseHao,whichisasocialmediaplatformandonlyprovidesinformationstorageservices.
/阅读下一篇/返回网易首页下载网易新闻客户端霍金北京演讲：人工智能也可能是人类文明的终结者
4月27日，著名物理学家史蒂芬・霍金在北京举办的全球移动互联网大会上做了视频演讲。在演讲中，霍金重申人工智能崛起要么是人类最好的事情，要么就是最糟糕的事情。他认为，人类需警惕人工智能发展威胁。因为人工智能一旦脱离束缚，以不断加速的状态重新设计自身，人类由于受到漫长的生物进化的限制，将无法与之竞争，从而被取代。
以下为霍金演讲内容：
在我的一生中，我见证了社会深刻的变化。其中最深刻的，同时也是对人类影响与日俱增的变化，是人工智能的崛起。简单来说，我认为强大的人工智能的崛起，要么是人类历史上最好的事，要么是最糟的。我不得不说，是好是坏我们仍不确定。但我们应该竭尽所能，确保其未来发展对我们和我们的环境有利。我们别无选择。我认为人工智能的发展，本身是一种存在着问题的趋势，而这些问题必须在现在和将来得到解决。
人工智能的研究与开发正在迅速推进。也许我们所有人都应该暂停片刻，把我们的研究重复从提升人工智能能力转移到最大化人工智能的社会效益上面。基于这样的考虑，美国人工智能协会（AAAI）于2008至2009年，成立了人工智能长期未来总筹论坛，他们近期在目的导向的中性技术上投入了大量的关注。但我们的人工智能系统须要按照我们的意志工作。跨学科研究是一种可能的前进道路：从经济、法律、哲学延伸至计算机安全、形式化方法，当然还有人工智能本身的各个分支。
文明所提产生的一切都是人类智能的产物，我相信生物大脑可以达到的和计算机可以达到的，没有本质区别。因此，它遵循了“计算机在理论上可以模仿人类智能，然后超越”这一原则。但我们并不确定，所以我们无法知道我们将无限地得到人工智能的帮助，还是被藐视并被边缘化，或者很可能被它毁灭。的确，我们担心聪明的机器将能够代替人类正在从事的工作，并迅速地消灭数以百万计的工作岗位。
在人工智能从原始形态不断发展，并被证明非常有用的同时，我也在担忧创造一个可以等同或超越人类的事物所导致的结果：人工智能一旦脱离束缚，以不断加速的状态重新设计自身。人类由于受到漫长的生物进化的限制，无法与之竞争，将被取代。这将给我们的经济带来极大的破坏。未来，人工智能可以发展出自我意志，一个与我们冲突的意志。尽管我对人类一贯持有乐观的态度，但其他人认为，人类可以在相当长的时间里控制技术的发展，这样我们就能看到人工智能可以解决世界上大部分问题的潜力。但我并不确定。
在人工智能从原始形态不断发展，并被证明非常有用的同时，我也在担忧创造一个可以等同或超越人类的事物所导致的结果：人工智能一旦脱离束缚，以不断加速的状态重新设计自身。人类由于受到漫长的生物进化的限制，无法与之竞争，将被取代。这将给我们的经济带来极大的破坏。未来，人工智能可以发展出自我意志，一个与我们冲突的意志。尽管我对人类一贯持有乐观的态度，但其他人认为，人类可以在相当长的时间里控制技术的发展，这样我们就能看到人工智能可以解决世界上大部分问题的潜力。但我并不确定。
2015年1月份，我和科技企业家埃隆・马斯克，以及许多其他的人工智能专家签署了一份关于人工智能的公开信，目的是提倡就人工智能对社会所造成的影响做认真的调研。在这之前，埃隆・马斯克就警告过人们：超人类人工智能可能带来不可估量的利益，但是如果部署不当，则可能给人类带来相反的效果。我和他同在“生命未来研究所”的科学顾问委员会，这是一个为了缓解人类所面临的存在风险的组织，而且之前提到的公开信也是由这个组织起草的。这个公开信号召展开可以阻止潜在问题的直接研究，同时也收获人工智能带给我们的潜在利益，同时致力于让人工智能的研发人员更关注人工智能安全。此外，对于决策者和普通大众来说，这封公开信内容翔实，并非危言耸听。人人都知道人工智能研究人员们在认真思索这些担心和伦理问题，我们认为这一点非常重要。比如，人工智能是有根除疾患和贫困的潜力的，但是研究人员必须能够创造出可控的人工智能。那封只有四段文字，题目为《应优先研究强大而有益的人工智能》的公开信，在其附带的十二页文件中对研究的优先次序作了详细的安排。
在过去的20年里，人工智能一直专注于围绕建设智能代理所产生的问题，也就是在特定环境下可以感知并行动的各种系统。在这种情况下，智能是一个与统计学和经济学相关的理性概念。通俗地讲，这是一种做出好的决定、计划和推论的能力。基于这些工作，大量的整合和交叉孕育被应用在人工智能、机器学习、统计学、控制论、神经科学、以及其它领域。共享理论框架的建立，结合数据的供应和处理能力，在各种细分的领域取得了显著的成功。例如语音识别、图像分类、自动驾驶、机器翻译、步态运动和问答系统。
随着这些领域的发展，从实验室研究到有经济价值的技术形成良性循环。哪怕很小的性能改进，都会带来巨大的经济效益，进而鼓励更长期、更伟大的投入和研究。目前人们广泛认同，人工智能的研究正在稳步发展，而它对社会的影响很可能扩大，潜在的好处是巨大的，既然文明所产生的一切，都是人类智能的产物；我们无法预测我们可能取得什么成果，当这种智能是被人工智能工具放大过的。但是，正如我说过的，根除疾病和贫穷并不是完全不可能，由于人工智能的巨大潜力，研究如何（从人工智能）获益并规避风险是非常重要的。
现在，关于人工智能的研究正在迅速发展。这一研究可以从短期和长期来讨论。一些短期的担忧在无人驾驶方面，从民用无人机到自主驾驶汽车。比如说，在紧急情况下，一辆无人驾驶汽车不得不在小风险的大事故和大概率的小事故之间进行选择。另一个担忧在致命性智能自主武器。他们是否该被禁止？如果是，那么“自主”该如何精确定义。如果不是，任何使用不当和故障的过失应该如何问责。还有另外一些担忧，由人工智能逐渐可以解读大量监控数据引起的隐私和担忧，以及如何管理因人工智能取代工作岗位带来的经济影响。
长期担忧主要是人工智能系统失控的潜在风险，随着不遵循人类意愿行事的超级智能的崛起，那个强大的系统威胁到人类。这样错位的结果是否有可能？如果是，这些情况是如何出现的？我们应该投入什么样的研究，以便更好的理解和解决危险的超级智能崛起的可能性，或智能爆发的出现？
霍金：人工智能也可能是人类文明的终结者
4月27日，著名物理学家史蒂芬・霍金在北京举办的全球移动互联网大会上做了视频演讲。在演讲中，霍金重申人工智能崛起要么是人类最好的事情，要么就是最糟糕的事情。他认为，人类需警惕人工智能发展威胁。因为人工智能一旦脱离束缚，以不断加速的状态重新设计自身，人类由于受到漫长的生物进化的限制，将无法与之竞争，从而被取代。
以下为霍金演讲内容：
在我的一生中，我见证了社会深刻的变化。其中最深刻的，同时也是对人类影响与日俱增的变化，是人工智能的崛起。简单来说，我认为强大的人工智能的崛起，要么是人类历史上最好的事，要么是最糟的。我不得不说，是好是坏我们仍不确定。但我们应该竭尽所能，确保其未来发展对我们和我们的环境有利。我们别无选择。我认为人工智能的发展，本身是一种存在着问题的趋势，而这些问题必须在现在和将来得到解决。
人工智能的研究与开发正在迅速推进。也许我们所有人都应该暂停片刻，把我们的研究重复从提升人工智能能力转移到最大化人工智能的社会效益上面。基于这样的考虑，美国人工智能协会（AAAI）于2008至2009年，成立了人工智能长期未来总筹论坛，他们近期在目的导向的中性技术上投入了大量的关注。但我们的人工智能系统须要按照我们的意志工作。跨学科研究是一种可能的前进道路：从经济、法律、哲学延伸至计算机安全、形式化方法，当然还有人工智能本身的各个分支。
文明所提产生的一切都是人类智能的产物，我相信生物大脑可以达到的和计算机可以达到的，没有本质区别。因此，它遵循了“计算机在理论上可以模仿人类智能，然后超越”这一原则。但我们并不确定，所以我们无法知道我们将无限地得到人工智能的帮助，还是被藐视并被边缘化，或者很可能被它毁灭。的确，我们担心聪明的机器将能够代替人类正在从事的工作，并迅速地消灭数以百万计的工作岗位。
在人工智能从原始形态不断发展，并被证明非常有用的同时，我也在担忧创造一个可以等同或超越人类的事物所导致的结果：人工智能一旦脱离束缚，以不断加速的状态重新设计自身。人类由于受到漫长的生物进化的限制，无法与之竞争，将被取代。这将给我们的经济带来极大的破坏。未来，人工智能可以发展出自我意志，一个与我们冲突的意志。尽管我对人类一贯持有乐观的态度，但其他人认为，人类可以在相当长的时间里控制技术的发展，这样我们就能看到人工智能可以解决世界上大部分问题的潜力。但我并不确定。
2015年1月份，我和科技企业家埃隆・马斯克，以及许多其他的人工智能专家签署了一份关于人工智能的公开信，目的是提倡就人工智能对社会所造成的影响做认真的调研。在这之前，埃隆・马斯克就警告过人们：超人类人工智能可能带来不可估量的利益，但是如果部署不当，则可能给人类带来相反的效果。我和他同在“生命未来研究所”的科学顾问委员会，这是一个为了缓解人类所面临的存在风险的组织，而且之前提到的公开信也是由这个组织起草的。这个公开信号召展开可以阻止潜在问题的直接研究，同时也收获人工智能带给我们的潜在利益，同时致力于让人工智能的研发人员更关注人工智能安全。此外，对于决策者和普通大众来说，这封公开信内容翔实，并非危言耸听。人人都知道人工智能研究人员们在认真思索这些担心和伦理问题，我们认为这一点非常重要。比如，人工智能是有根除疾患和贫困的潜力的，但是研究人员必须能够创造出可控的人工智能。那封只有四段文字，题目为《应优先研究强大而有益的人工智能》的公开信，在其附带的十二页文件中对研究的优先次序作了详细的安排。
在过去的20年里，人工智能一直专注于围绕建设智能代理所产生的问题，也就是在特定环境下可以感知并行动的各种系统。在这种情况下，智能是一个与统计学和经济学相关的理性概念。通俗地讲，这是一种做出好的决定、计划和推论的能力。基于这些工作，大量的整合和交叉孕育被应用在人工智能、机器学习、统计学、控制论、神经科学、以及其它领域。共享理论框架的建立，结合数据的供应和处理能力，在各种细分的领域取得了显著的成功。例如语音识别、图像分类、自动驾驶、机器翻译、步态运动和问答系统。
随着这些领域的发展，从实验室研究到有经济价值的技术形成良性循环。哪怕很小的性能改进，都会带来巨大的经济效益，进而鼓励更长期、更伟大的投入和研究。目前人们广泛认同，人工智能的研究正在稳步发展，而它对社会的影响很可能扩大，潜在的好处是巨大的，既然文明所产生的一切，都是人类智能的产物；我们无法预测我们可能取得什么成果，当这种智能是被人工智能工具放大过的。但是，正如我说过的，根除疾病和贫穷并不是完全不可能，由于人工智能的巨大潜力，研究如何（从人工智能）获益并规避风险是非常重要的。
现在，关于人工智能的研究正在迅速发展。这一研究可以从短期和长期来讨论。一些短期的担忧在无人驾驶方面，从民用无人机到自主驾驶汽车。比如说，在紧急情况下，一辆无人驾驶汽车不得不在小风险的大事故和大概率的小事故之间进行选择。另一个担忧在致命性智能自主武器。他们是否该被禁止？如果是，那么“自主”该如何精确定义。如果不是，任何使用不当和故障的过失应该如何问责。还有另外一些担忧，由人工智能逐渐可以解读大量监控数据引起的隐私和担忧，以及如何管理因人工智能取代工作岗位带来的经济影响。
长期担忧主要是人工智能系统失控的潜在风险，随着不遵循人类意愿行事的超级智能的崛起，那个强大的系统威胁到人类。这样错位的结果是否有可能？如果是，这些情况是如何出现的？我们应该投入什么样的研究，以便更好的理解和解决危险的超级智能崛起的可能性，或智能爆发的出现？
当前控制人工智能技术的工具，例如强化学习，简单实用的功能，还不足以解决这个问题。因此，我们需要进一步研究来找到和确认一个可靠的解决办法来掌控这一问题。
近来的里程碑，比如说之前提到的自主驾驶汽车，以及人工智能赢得围棋比赛，都是未来趋势的迹象。巨大的投入倾注到这项科技。我们目前所取得的成就，和未来几十年后可能取得的成就相比，必然相形见绌。而且我们远不能预测我们能取得什么成就，当我们的头脑被人工智能放大以后。也许在这种新技术革命的辅助下，我们可以解决一些工业化对自然界造成的损害。关乎到我们生活的各个方面都即将被改变。简而言之，人工智能的成功有可能是人类文明史上最大的事件。
但是人工智能也有可能是人类文明史的终结，除非我们学会如何避免危险。我曾经说过，人工智能的全方位发展可能招致人类的灭亡，比如最大化使用智能性自主武器。今年早些时候，我和一些来自世界各国的科学家共同在联合国会议上支持其对于核武器的禁令。我们正在焦急的等待协商结果。目前，九个核大国可以控制大约一万四千个核武器，它们中的任何一个都可以将城市夷为平地，放射性废物会大面积污染农田，最可怕的危害是诱发核冬天，火和烟雾会导致全球的小冰河期。这一结果使全球粮食体系崩塌，末日般动荡，很可能导致大部分人死亡。我们作为科学家，对核武器承担着特殊的责任，因为正是科学家发明了它们，并发现它们的影响比最初预想的更加可怕。
现阶段，我对灾难的探讨可能惊吓到了在座的各位。很抱歉。但是作为今天的与会者，重要的是，你们要认清自己在影响当前技术的未来研发中的位置。我相信我们团结在一起，来呼吁国际条约的支持或者签署呈交给各国政府的公开信，科技领袖和科学家正极尽所能避免不可控的人工智能的崛起。
去年10月，我在英国剑桥建立了一个新的机构，试图解决一些在人工智能研究快速发展中出现的尚无定论的问题。“利弗休姆智能未来中心”是一个跨学科研究所，致力于研究智能的未来，这对我们文明和物种的未来至关重要。我们花费大量时间学习历史，深入去看――大多数是关于愚蠢的历史。所以人们转而研究智能的未来是令人欣喜的变化。虽然我们对潜在危险有所意识，但我内心仍秉持乐观态度，我相信创造智能的潜在收益是巨大的。也许借助这项新技术革命的工具，我们将可以削减工业化对自然界造成的伤害。
我们生活的每一个方面都会被改变。我在研究所的同事休・普林斯承认，“利弗休姆中心”能建立，部分是因为大学成立了“存在风险中心”。后者更加广泛地审视了人类潜在问题，“利弗休姆中心”的重点研究范围则相对狭窄。
人工智能的最新进展，包括欧洲议会呼吁起草一系列法规，以管理机器人和人工智能的创新。令人感到些许惊讶的是，这里面涉及到了一种形式的电子人格，以确保最有能力和最先进的人工智能的权利和责任。欧洲议会发言人评论说，随着日常生活中越来越多的领域日益受到机器人的影响，我们需要确保机器人无论现在还是将来，都为人类而服务。向欧洲议会议员提交的报告，明确认为世界正处于新的工业机器人革命的前沿。报告中分析的是否给机器人提供作为电子人的权利，这等同于法人（的身份），也许有可能。报告强调，在任何时候，研究和设计人员都应确保每一个机器人设计都包含有终止开关。在库布里克的电影《2001太空漫游》中，出故障的超级电脑哈尔没有让科学家们进入太空舱，但那是科幻。我们要面对的则是事实。奥斯本・克拉克跨国律师事务所的合伙人，洛纳・布拉泽尔在报告中说，我们不承认鲸鱼和大猩猩有人格，所以也没有必要急于接受一个机器人人格。但是担忧一直存在。报告承认在几十年的时间内，人工智能可能会超越人类智力范围，人工智能可能会超越人类智力范围，进而挑战人机关系。报告最后呼吁成立欧洲机器人和人工智能机构，以提供技术、伦理和监管方面的专业知识。如果欧洲议会议员投票赞成立法，该报告将提交给欧盟委员会。它将在三个月的时间内决定要采取哪些立法步骤。
我们还应该扮演一个角色，确保下一代不仅仅有机会还要有决心，在早期阶段充分参与科学研究，以便他们继续发挥潜力，帮助人类创造一个更加美好的的世界。这就是我刚谈到学习和教育的重要性时，所要表达的意思。我们需要跳出“事情应该如何”这样的理论探讨，并且采取行动，以确保他们有机会参与进来。我们站在一个美丽新世界的入口。这是一个令人兴奋的、同时充满了不确定性的世界，而你们是先行者。我祝福你们。
尤瓦尔：人工智能对我们的操控，可能比你想的更严重
导言
2023年4月29日在Frontiers论坛上，《人类简史》《未来简史》《今日简史》的作者尤瓦尔·赫拉利发表了关于“人工智能与人类的未来”主题的演讲。
他认为，人工智能正在以超过人类平均水平的能力掌握语言。而通过掌握语言，人工智能正在掌握入侵人类文明系统的钥匙。人工智能对我们的威胁，可能比想象的更严重。
今天我想和大家谈的是人工智能和人类的未来。
我知道这次会议的重点是人类正面临的生态危机，而人工智能无论好坏都是这场危机的一部分。人工智能可以在很多方面帮助我们解决生态危机，但也可以加剧危机。
事实上，人工智能可能会改变生态系统的意义。因为，40亿年以来地球的生态系统只包含有机生命形式，而现在或不久的将来我们可能会看到第一批无机生命形式的出现，或至少是无机媒介的出现。
自二十世纪中叶计算机时代开始，人们始终对人工智能怀有恐惧，这种恐惧激发了许多经典科幻作品的诞生，如《终结者》《黑客帝国》等。
虽然这类科幻场景已经成为文化符号，但它们通常不会在学术、科学和政治辩论中被严肃对待。这也是可以理解的，因为科幻作品一般会作这样的假设：人工智能构成对人类的重大威胁之前，它必须跃过两个重要的里程碑——首先，人工智能必须变得有知觉，发展出意识、感觉和情感，否则它为什么想要接管世界；其次，人工智能必须适应在物理世界中给自己定位，机器人必须能够像人一样高效地在房屋、城市、山脉和森林中移动和运转，如果他们无法在物理世界中移动，那怎么可能接管这个世界？
在2023年4月之前，人工智能似乎还远远没有到达这两个里程碑，尽管人们围绕ChatGPT和其他新的人工智能工具进行了大肆宣传，但没有证据表明这些工具有一丝意识、感觉或情感。至于在物理世界中活动，虽然自动驾驶技术一直算热门话题，但汽车主宰人类道路的时间仍一直在推迟。
然而，坏消息是人工智能要威胁人类文明的生存，并不真正需要意识，也不需要在物理世界中移动的能力。
在过去的几年里，新的人工智能工具被运用到公共领域，可能会从一个非常意想不到的方向威胁到人类文明的生存。我们甚至很难理解这些新型人工智能工具的能力，以及它们持续发展的速度。
事实上，因为人工智能能够自我学习并自我改进，即使是这些工具的开发者也不知道他们所创造的东西的全部功能，他们自己也经常对这些工具的新能力和高品质感到惊讶。
我想在座的每个人都已经了解新型人工智能工具一些最基本的能力，像写作、绘画、作曲和编写代码等能力。还有许多其他功能正在涌现，比如深度伪造人们的声音和图像，起草法案，找出计算机代码、合同和法律文书中的漏洞。但也许最重要的是，新的人工智能工具有能够与人类建立深厚而亲密的关系的能力。
这些能力中的每一项都值得充分讨论，我们很难理解它们的全部含义，所以把这个问题简单化。如果把所有这些能力当作一个整体，就可以总结为一个非常非常大的东西——操纵和生成语言的能力，无论是用文字、图像还是声音。
当前人工智能革命最重要的方面是，人工智能正在以超过人类平均水平的能力掌握语言。通过掌握语言，人工智能正在掌握打开从银行到寺庙等所有机构大门的万能钥匙。因为语言是我们用来向银行发出指令的工具，也是我们头脑中做出重大决定的工具。
从另一个角度来看这个问题，那就是人工智能刚刚入侵了人类文明的操作系统。历史上每一种人类文化的操作系统都是语言，在这个文明世界的开端，我们用语言创造神话和法律，创造神和金钱，创造艺术和科学，创造友谊和国家。
例如，人权不是生物学上的客观事实，它没有刻在我们的DNA中，人权是我们用语言通过讲故事和制定法律创造出来的东西；神也不是生物的或物理上的现实，而是我们人类用语言再通过传说和经文创造出来的；金钱当然也不是物理存在，钞票只不过是一张张毫无价值的纸，而目前世界上90%以上的钱甚至都不是钞票，它只是电脑中传输的电子信息，能赋予金钱各种价值的只有故事。
不少银行家、财政部长和加密货币大佬他们并没有创造多少真正有价值的东西，但他们都是极有能力的故事讲述者。
▲尤瓦尔·赫拉利，牛津大学历史学博士，青年怪才、全球瞩目的新锐历史学家
今天，在像国际象棋这样的游戏中，没有人能打败计算机。如果同样的事情发生在我们的政治、经济甚至宗教领域呢？
当人们想到ChatGPT和其他新的人工智能工具时，经常会被这类例子吸引，比如孩子们使用ChatGPT写论文。一旦孩子们用ChatGPT写论文，学校系统将会发生什么？太可怕了。
但这类问题忽略了大局，姑且放下学校的论文吧，比如说，我们应该谈论2024年的下一届美国总统大选，尝试着想象新的人工智能工具可以带来的影响，这些工具可以为某种新的邪教利用，大规模制造政治宣言、假新闻故事和这一教派自己的圣经。未来，我们可能会看到历史上第一个由非人类智能创作圣经的宗教。
当然，历史上的宗教都声称他们的圣经是由非人类智慧创作的，这在此之前是不可能的，但很快就会成为现实，并影响深远。
现在，在一个更平淡的层面上，我们可能很快就会发现和自己在网上长时间讨论堕胎、气候变化或俄乌冲突的人——你以为是人类同胞，实际上是人工智能机器人。
问题是，我们浪费时间试图说服人工智能机器人改变其政治观点是毫无意义的，但我们与它交谈的时间越长，它就越了解我们，了解如何磨练它的信息，以改变我们的政治观点、经济观点或其他任何东西。
通过对语言的掌握，人工智能也可以与人建立亲密关系，并利用亲密的力量来影响我们的观点。
正如我所说，没有迹象表明人工智能有任何意识或自己的感情，但为了与人类建立虚假的亲密关系，人工智能不需要自己的感情，它只需要能够激发我们的感情，让我们对它产生依恋。
2022年6月，谷歌工程师布莱克·莱莫因（BlakeLemoine）公开声称，他正在研究的人工智能聊天机器人LaMDA已经有了感知能力。这件事最有趣的不是莱莫因的说法，他的说法很可能是错的，他最终也失去了工作。真正有趣的是，他愿意冒着失去高薪工作的风险去保护这个人工智能聊天机器人。
如果人工智能可以影响人们去冒失去工作的风险，它还能诱使我们做什么呢？
在每一场心灵和思想的政治斗争中，亲密关系是最有效的武器。人工智能刚刚获得了与数亿人大规模产生亲密关系的能力。
你们可能都知道，在过去的十年里，社交媒体已经成为控制人类注意力的战场。现在，随着新一代人工智能的出现，战场正从注意力转向亲密关系，这是一个非常坏的消息。
当人工智能为了与我们建立亲密关系而战斗时，人类社会和人类心理会发生什么变化？这些关系也可以用来说服我们购买特定的产品或投票给特定的政治人物。
即使没有制造虚假的亲密关系，新的人工智能工具将对人类的观点和世界观产生剧烈的影响，并且成为人类需要的所有信息的来源。
当可以让人工智能告诉我任何想要的东西时，为什么还要自己搜索？当可以让人工智能告诉我有什么新闻时，为什么还要读报纸？当我可以让人工智能告诉我该买什么的时候，广告的意义和目的又是什么呢？
很有可能在很短的时间内，整个新闻广告行业将崩溃，而人工智能或控制人工智能的人和公司将变得非常非常强大。
我们可能谈论的是人类历史的终结，但这并不是历史的终结而只是人类统治时代的终结。
当人工智能接管文化时，历史进程会发生什么？几年之内，人工智能可以消化掉整个人类文化，消化掉那些我们几千年来创造出来的所有东西，并开始产出大量新的文化创作、新的文化产物。
记住，我们人类从来没有真正直接接触过现实。我们总是被文化所束缚，我们总是通过文化的牢笼来体验现实。我们的政治观点受到记者的报道和朋友的故事的影响，我们的性取向受到电影和童话的影响，甚至我们走路和呼吸的方式也受到文化传统的影响。
在此之前，这个文化茧房总是由其他人编织而成。以前的工具，如印刷机、收音机或电视，它们有助于传播人类的文化思想和创造，但它们永远无法自己创造出新的东西。印刷机不能出一本新书，这是由人来完成的。
人工智能从根本上不同于印刷工艺，不同于无线电，不同于历史上的任何一项发明，因为它可以创造全新的想法，可以创造一种新的文化。
在最初的几年里，人工智能可能会在很大程度上模仿初期“哺育”它的人类原型，但随着时间的推移，人工智能文化将大胆地走向人类从未涉足的领域。
几千年来，我们人类基本上生活在他人的梦想和幻想中。我们崇拜神灵，我们追求美的理想，我们把自己的生命奉献给源于某些人类诗人、先知或政治家想象的事业。很快，我们可能会发现自己生活在人工智能的梦想和幻想中。
如何处理这种潜在的危险与科幻作品的想象非常不同。此前，人们主要担心的是智能机器带来的人身威胁，所以在《终结者》中机器人在街上奔跑，射杀人类；《黑客帝国》则假设要想完全控制人类社会，人工智能首先需要控制人类的大脑，并将大脑直接连接到计算机网络，但这是错误的。
只要掌握了人类语言，人工智能就能在一个像矩阵一样的幻想世界中生存。真的不需要为了控制和操纵人类而在他们的大脑中植入芯片，几千年来，先知、诗人和政治家们一直使用语言和讲故事来控制、操纵人类，重塑社会，现在人工智能很可能就能做到这一点。
它不需要让杀人机器人来射杀我们，如果真的需要，它完全可以让人类自己来扣动扳机。
作者：尤瓦尔·赫拉利，牛津大学历史学博士，青年怪才、全球瞩目的新锐历史学家
来源：中信出版
尤瓦尔：人工智能对我们的操控，可能比你想的更严重
导言
2023年4月29日在Frontiers论坛上，《人类简史》《未来简史》《今日简史》的作者尤瓦尔·赫拉利发表了关于“人工智能与人类的未来”主题的演讲。
他认为，人工智能正在以超过人类平均水平的能力掌握语言。而通过掌握语言，人工智能正在掌握入侵人类文明系统的钥匙。人工智能对我们的威胁，可能比想象的更严重。
今天我想和大家谈的是人工智能和人类的未来。
我知道这次会议的重点是人类正面临的生态危机，而人工智能无论好坏都是这场危机的一部分。人工智能可以在很多方面帮助我们解决生态危机，但也可以加剧危机。
事实上，人工智能可能会改变生态系统的意义。因为，40亿年以来地球的生态系统只包含有机生命形式，而现在或不久的将来我们可能会看到第一批无机生命形式的出现，或至少是无机媒介的出现。
自二十世纪中叶计算机时代开始，人们始终对人工智能怀有恐惧，这种恐惧激发了许多经典科幻作品的诞生，如《终结者》《黑客帝国》等。
虽然这类科幻场景已经成为文化符号，但它们通常不会在学术、科学和政治辩论中被严肃对待。这也是可以理解的，因为科幻作品一般会作这样的假设：人工智能构成对人类的重大威胁之前，它必须跃过两个重要的里程碑——首先，人工智能必须变得有知觉，发展出意识、感觉和情感，否则它为什么想要接管世界；其次，人工智能必须适应在物理世界中给自己定位，机器人必须能够像人一样高效地在房屋、城市、山脉和森林中移动和运转，如果他们无法在物理世界中移动，那怎么可能接管这个世界？
在2023年4月之前，人工智能似乎还远远没有到达这两个里程碑，尽管人们围绕ChatGPT和其他新的人工智能工具进行了大肆宣传，但没有证据表明这些工具有一丝意识、感觉或情感。至于在物理世界中活动，虽然自动驾驶技术一直算热门话题，但汽车主宰人类道路的时间仍一直在推迟。
然而，坏消息是人工智能要威胁人类文明的生存，并不真正需要意识，也不需要在物理世界中移动的能力。
在过去的几年里，新的人工智能工具被运用到公共领域，可能会从一个非常意想不到的方向威胁到人类文明的生存。我们甚至很难理解这些新型人工智能工具的能力，以及它们持续发展的速度。
事实上，因为人工智能能够自我学习并自我改进，即使是这些工具的开发者也不知道他们所创造的东西的全部功能，他们自己也经常对这些工具的新能力和高品质感到惊讶。
我想在座的每个人都已经了解新型人工智能工具一些最基本的能力，像写作、绘画、作曲和编写代码等能力。还有许多其他功能正在涌现，比如深度伪造人们的声音和图像，起草法案，找出计算机代码、合同和法律文书中的漏洞。但也许最重要的是，新的人工智能工具有能够与人类建立深厚而亲密的关系的能力。
这些能力中的每一项都值得充分讨论，我们很难理解它们的全部含义，所以把这个问题简单化。如果把所有这些能力当作一个整体，就可以总结为一个非常非常大的东西——操纵和生成语言的能力，无论是用文字、图像还是声音。
当前人工智能革命最重要的方面是，人工智能正在以超过人类平均水平的能力掌握语言。通过掌握语言，人工智能正在掌握打开从银行到寺庙等所有机构大门的万能钥匙。因为语言是我们用来向银行发出指令的工具，也是我们头脑中做出重大决定的工具。
从另一个角度来看这个问题，那就是人工智能刚刚入侵了人类文明的操作系统。历史上每一种人类文化的操作系统都是语言，在这个文明世界的开端，我们用语言创造神话和法律，创造神和金钱，创造艺术和科学，创造友谊和国家。
例如，人权不是生物学上的客观事实，它没有刻在我们的DNA中，人权是我们用语言通过讲故事和制定法律创造出来的东西；神也不是生物的或物理上的现实，而是我们人类用语言再通过传说和经文创造出来的；金钱当然也不是物理存在，钞票只不过是一张张毫无价值的纸，而目前世界上90%以上的钱甚至都不是钞票，它只是电脑中传输的电子信息，能赋予金钱各种价值的只有故事。
不少银行家、财政部长和加密货币大佬他们并没有创造多少真正有价值的东西，但他们都是极有能力的故事讲述者。
▲尤瓦尔·赫拉利，牛津大学历史学博士，青年怪才、全球瞩目的新锐历史学家
今天，在像国际象棋这样的游戏中，没有人能打败计算机。如果同样的事情发生在我们的政治、经济甚至宗教领域呢？
当人们想到ChatGPT和其他新的人工智能工具时，经常会被这类例子吸引，比如孩子们使用ChatGPT写论文。一旦孩子们用ChatGPT写论文，学校系统将会发生什么？太可怕了。
但这类问题忽略了大局，姑且放下学校的论文吧，比如说，我们应该谈论2024年的下一届美国总统大选，尝试着想象新的人工智能工具可以带来的影响，这些工具可以为某种新的邪教利用，大规模制造政治宣言、假新闻故事和这一教派自己的圣经。未来，我们可能会看到历史上第一个由非人类智能创作圣经的宗教。
当然，历史上的宗教都声称他们的圣经是由非人类智慧创作的，这在此之前是不可能的，但很快就会成为现实，并影响深远。
现在，在一个更平淡的层面上，我们可能很快就会发现和自己在网上长时间讨论堕胎、气候变化或俄乌冲突的人——你以为是人类同胞，实际上是人工智能机器人。
问题是，我们浪费时间试图说服人工智能机器人改变其政治观点是毫无意义的，但我们与它交谈的时间越长，它就越了解我们，了解如何磨练它的信息，以改变我们的政治观点、经济观点或其他任何东西。
通过对语言的掌握，人工智能也可以与人建立亲密关系，并利用亲密的力量来影响我们的观点。
正如我所说，没有迹象表明人工智能有任何意识或自己的感情，但为了与人类建立虚假的亲密关系，人工智能不需要自己的感情，它只需要能够激发我们的感情，让我们对它产生依恋。
2022年6月，谷歌工程师布莱克·莱莫因（BlakeLemoine）公开声称，他正在研究的人工智能聊天机器人LaMDA已经有了感知能力。这件事最有趣的不是莱莫因的说法，他的说法很可能是错的，他最终也失去了工作。真正有趣的是，他愿意冒着失去高薪工作的风险去保护这个人工智能聊天机器人。
如果人工智能可以影响人们去冒失去工作的风险，它还能诱使我们做什么呢？
在每一场心灵和思想的政治斗争中，亲密关系是最有效的武器。人工智能刚刚获得了与数亿人大规模产生亲密关系的能力。
你们可能都知道，在过去的十年里，社交媒体已经成为控制人类注意力的战场。现在，随着新一代人工智能的出现，战场正从注意力转向亲密关系，这是一个非常坏的消息。
当人工智能为了与我们建立亲密关系而战斗时，人类社会和人类心理会发生什么变化？这些关系也可以用来说服我们购买特定的产品或投票给特定的政治人物。
即使没有制造虚假的亲密关系，新的人工智能工具将对人类的观点和世界观产生剧烈的影响，并且成为人类需要的所有信息的来源。
当可以让人工智能告诉我任何想要的东西时，为什么还要自己搜索？当可以让人工智能告诉我有什么新闻时，为什么还要读报纸？当我可以让人工智能告诉我该买什么的时候，广告的意义和目的又是什么呢？
很有可能在很短的时间内，整个新闻广告行业将崩溃，而人工智能或控制人工智能的人和公司将变得非常非常强大。
我们可能谈论的是人类历史的终结，但这并不是历史的终结而只是人类统治时代的终结。
当人工智能接管文化时，历史进程会发生什么？几年之内，人工智能可以消化掉整个人类文化，消化掉那些我们几千年来创造出来的所有东西，并开始产出大量新的文化创作、新的文化产物。
记住，我们人类从来没有真正直接接触过现实。我们总是被文化所束缚，我们总是通过文化的牢笼来体验现实。我们的政治观点受到记者的报道和朋友的故事的影响，我们的性取向受到电影和童话的影响，甚至我们走路和呼吸的方式也受到文化传统的影响。
在此之前，这个文化茧房总是由其他人编织而成。以前的工具，如印刷机、收音机或电视，它们有助于传播人类的文化思想和创造，但它们永远无法自己创造出新的东西。印刷机不能出一本新书，这是由人来完成的。
人工智能从根本上不同于印刷工艺，不同于无线电，不同于历史上的任何一项发明，因为它可以创造全新的想法，可以创造一种新的文化。
在最初的几年里，人工智能可能会在很大程度上模仿初期“哺育”它的人类原型，但随着时间的推移，人工智能文化将大胆地走向人类从未涉足的领域。
几千年来，我们人类基本上生活在他人的梦想和幻想中。我们崇拜神灵，我们追求美的理想，我们把自己的生命奉献给源于某些人类诗人、先知或政治家想象的事业。很快，我们可能会发现自己生活在人工智能的梦想和幻想中。
如何处理这种潜在的危险与科幻作品的想象非常不同。此前，人们主要担心的是智能机器带来的人身威胁，所以在《终结者》中机器人在街上奔跑，射杀人类；《黑客帝国》则假设要想完全控制人类社会，人工智能首先需要控制人类的大脑，并将大脑直接连接到计算机网络，但这是错误的。
只要掌握了人类语言，人工智能就能在一个像矩阵一样的幻想世界中生存。真的不需要为了控制和操纵人类而在他们的大脑中植入芯片，几千年来，先知、诗人和政治家们一直使用语言和讲故事来控制、操纵人类，重塑社会，现在人工智能很可能就能做到这一点。
它不需要让杀人机器人来射杀我们，如果真的需要，它完全可以让人类自己来扣动扳机。
作者：尤瓦尔·赫拉利，牛津大学历史学博士，青年怪才、全球瞩目的新锐历史学家
来源：中信出版
霍金：人工智能的崛起可能是人类文明的终结
自动播放开关自动播放霍金：人工智能的崛起可能是人类文明的终结正在加载...腾讯科技讯（管慕飞）4月27日，2017全球移动互联网大会（GMIC）在北京国家会议中心举行。著名物理学家斯蒂芬·霍金通过视频发表了题为《让人工智能造福人类及其赖以生存的家园》的主题演讲。他表示，人工智能的崛起可能是人类文明的终结。
这已经不是霍金第一次提出“人工智能威胁论”。在今年3月，霍金向英国《独立报》表示，人类必须建立有效机制尽早识别威胁所在，防止新科技（人工智能）对人类带来的威胁进一步上升。
霍金在会上表示，人工智能的威胁分短期和长期两种。短期威胁包括自动驾驶、智能性自主武器，以及隐私问题；长期担忧主要是人工智能系统失控带来的风险，如人工智能系统可能不听人类指挥。
他还认为，生物大脑和计算机在本质上是没有区别的。这与英国物理学家罗杰·彭罗斯的观点恰恰相反，后者认为作为一种算法确定性的系统，当前的电子计算机无法产生智能。
不过，霍金也表示，虽然他对人工智能有各种担忧，但他对人工智能技术本身还是抱有乐观的态度。他认为人工智能带来的收益是巨大的，人类或许借助这一强大的工具，可以减少工业化对自然的伤害。“但我们不确定我们是会被智能无限地帮助，还是被无限地边缘化，甚至毁灭。”他补充道。
霍金在演讲的最后说道：“这是一个美丽但充满不确定的世界，而你们是先行者。”
人工智能最后会毁掉人类吗？点击此处参与企鹅问答话题。
以下为霍金演讲全文（中文版）：
在我的一生中，我见证了社会深刻的变化。其中最深刻的，同时也是对人类影响与日俱增的变化，是人工智能的崛起。简单来说，我认为强大的人工智能的崛起，要么是人类历史上最好的事，要么是最糟的。我不得不说，是好是坏我们仍不确定。但我们应该竭尽所能，确保其未来发展对我们和我们的环境有利。我们别无选择。我认为人工智能的发展，本身是一种存在着问题的趋势，而这些问题必须在现在和将来得到解决。
人工智能的研究与开发正在迅速推进。也许我们所有人都应该暂停片刻，把我们的研究重复从提升人工智能能力转移到最大化人工智能的社会效益上面。基于这样的考虑，美国人工智能协会（AAAI）于2008至2009年，成立了人工智能长期未来总筹论坛，他们近期在目的导向的中性技术上投入了大量的关注。但我们的人工智能系统须要按照我们的意志工作。跨学科研究是一种可能的前进道路：从经济、法律、哲学延伸至计算机安全、形式化方法，当然还有人工智能本身的各个分支。
文明所提产生的一切都是人类智能的产物，我相信生物大脑可以达到的和计算机可以达到的，没有本质区别。因此，它遵循了“计算机在理论上可以模仿人类智能，然后超越”这一原则。但我们并不确定，所以我们无法知道我们将无限地得到人工智能的帮助，还是被藐视并被边缘化，或者很可能被它毁灭。的确，我们担心聪明的机器将能够代替人类正在从事的工作，并迅速地消灭数以百万计的工作岗位。
在人工智能从原始形态不断发展，并被证明非常有用的同时，我也在担忧创造一个可以等同或超越人类的事物所导致的结果：人工智能一旦脱离束缚，以不断加速的状态重新设计自身。人类由于受到漫长的生物进化的限制，无法与之竞争，将被取代。这将给我们的经济带来极大的破坏。未来，人工智能可以发展出自我意志，一个与我们冲突的意志。尽管我对人类一贯持有乐观的态度，但其他人认为，人类可以在相当长的时间里控制技术的发展，这样我们就能看到人工智能可以解决世界上大部分问题的潜力。但我并不确定。
2015年1月份，我和科技企业家埃隆·马斯克，以及许多其他的人工智能专家签署了一份关于人工智能的公开信，目的是提倡就人工智能对社会所造成的影响做认真的调研。在这之前，埃隆·马斯克就警告过人们：超人类人工智能可能带来不可估量的利益，但是如果部署不当，则可能给人类带来相反的效果。我和他同在“生命未来研究所”的科学顾问委员会，这是一个为了缓解人类所面临的存在风险的组织，而且之前提到的公开信也是由这个组织起草的。这个公开信号召展开可以阻止潜在问题的直接研究，同时也收获人工智能带给我们的潜在利益，同时致力于让人工智能的研发人员更关注人工智能安全。此外，对于决策者和普通大众来说，这封公开信内容翔实，并非危言耸听。人人都知道人工智能研究人员们在认真思索这些担心和伦理问题，我们认为这一点非常重要。比如，人工智能是有根除疾患和贫困的潜力的，但是研究人员必须能够创造出可控的人工智能。那封只有四段文字，题目为《应优先研究强大而有益的人工智能》的公开信，在其附带的十二页文件中对研究的优先次序作了详细的安排。
在过去的20年里，人工智能一直专注于围绕建设智能代理所产生的问题，也就是在特定环境下可以感知并行动的各种系统。在这种情况下，智能是一个与统计学和经济学相关的理性概念。通俗地讲，这是一种做出好的决定、计划和推论的能力。基于这些工作，大量的整合和交叉孕育被应用在人工智能、机器学习、统计学、控制论、神经科学、以及其它领域。共享理论框架的建立，结合数据的供应和处理能力，在各种细分的领域取得了显著的成功。例如语音识别、图像分类、自动驾驶、机器翻译、步态运动和问答系统。
随着这些领域的发展，从实验室研究到有经济价值的技术形成良性循环。哪怕很小的性能改进，都会带来巨大的经济效益，进而鼓励更长期、更伟大的投入和研究。目前人们广泛认同，人工智能的研究正在稳步发展，而它对社会的影响很可能扩大，潜在的好处是巨大的，既然文明所产生的一切，都是人类智能的产物；我们无法预测我们可能取得什么成果，当这种智能是被人工智能工具放大过的。但是，正如我说过的，根除疾病和贫穷并不是完全不可能，由于人工智能的巨大潜力，研究如何（从人工智能）获益并规避风险是非常重要的。
现在，关于人工智能的研究正在迅速发展。这一研究可以从短期和长期来讨论。一些短期的担忧在无人驾驶方面，从民用无人机到自主驾驶汽车。比如说，在紧急情况下，一辆无人驾驶汽车不得不在小风险的大事故和大概率的小事故之间进行选择。另一个担忧在致命性智能自主武器。他们是否该被禁止？如果是，那么“自主”该如何精确定义。如果不是，任何使用不当和故障的过失应该如何问责。还有另外一些担忧，由人工智能逐渐可以解读大量监控数据引起的隐私和担忧，以及如何管理因人工智能取代工作岗位带来的经济影响。
长期担忧主要是人工智能系统失控的潜在风险，随着不遵循人类意愿行事的超级智能的崛起，那个强大的系统威胁到人类。这样错位的结果是否有可能？如果是，这些情况是如何出现的？我们应该投入什么样的研究，以便更好的理解和解决危险的超级智能崛起的可能性，或智能爆发的出现？
当前控制人工智能技术的工具，例如强化学习，简单实用的功能，还不足以解决这个问题。因此，我们需要进一步研究来找到和确认一个可靠的解决办法来掌控这一问题。
近来的里程碑，比如说之前提到的自主驾驶汽车，以及人工智能赢得围棋比赛，都是未来趋势的迹象。巨大的投入倾注到这项科技。我们目前所取得的成就，和未来几十年后可能取得的成就相比，必然相形见绌。而且我们远不能预测我们能取得什么成就，当我们的头脑被人工智能放大以后。也许在这种新技术革命的辅助下，我们可以解决一些工业化对自然界造成的损害。关乎到我们生活的各个方面都即将被改变。简而言之，人工智能的成功有可能是人类文明史上最大的事件。
但是人工智能也有可能是人类文明史的终结，除非我们学会如何避免危险。我曾经说过，人工智能的全方位发展可能招致人类的灭亡，比如最大化使用智能性自主武器。今年早些时候，我和一些来自世界各国的科学家共同在联合国会议上支持其对于核武器的禁令。我们正在焦急的等待协商结果。目前，九个核大国可以控制大约一万四千个核武器，它们中的任何一个都可以将城市夷为平地，放射性废物会大面积污染农田，最可怕的危害是诱发核冬天，火和烟雾会导致全球的小冰河期。这一结果使全球粮食体系崩塌，末日般动荡，很可能导致大部分人死亡。我们作为科学家，对核武器承担着特殊的责任，因为正是科学家发明了它们，并发现它们的影响比最初预想的更加可怕。
现阶段，我对灾难的探讨可能惊吓到了在座的各位。很抱歉。但是作为今天的与会者，重要的是，你们要认清自己在影响当前技术的未来研发中的位置。我相信我们团结在一起，来呼吁国际条约的支持或者签署呈交给各国政府的公开信，科技领袖和科学家正极尽所能避免不可控的人工智能的崛起。
去年10月，我在英国剑桥建立了一个新的机构，试图解决一些在人工智能研究快速发展中出现的尚无定论的问题。“利弗休姆智能未来中心”是一个跨学科研究所，致力于研究智能的未来，这对我们文明和物种的未来至关重要。我们花费大量时间学习历史，深入去看——大多数是关于愚蠢的历史。所以人们转而研究智能的未来是令人欣喜的变化。虽然我们对潜在危险有所意识，但我内心仍秉持乐观态度，我相信创造智能的潜在收益是巨大的。也许借助这项新技术革命的工具，我们将可以削减工业化对自然界造成的伤害。
我们生活的每一个方面都会被改变。我在研究所的同事休·普林斯承认，“利弗休姆中心”能建立，部分是因为大学成立了“存在风险中心”。后者更加广泛地审视了人类潜在问题，“利弗休姆中心”的重点研究范围则相对狭窄。
人工智能的最新进展，包括欧洲议会呼吁起草一系列法规，以管理机器人和人工智能的创新。令人感到些许惊讶的是，这里面涉及到了一种形式的电子人格，以确保最有能力和最先进的人工智能的权利和责任。欧洲议会发言人评论说，随着日常生活中越来越多的领域日益受到机器人的影响，我们需要确保机器人无论现在还是将来，都为人类而服务。向欧洲议会议员提交的报告，明确认为世界正处于新的工业机器人革命的前沿。报告中分析的是否给机器人提供作为电子人的权利，这等同于法人（的身份），也许有可能。报告强调，在任何时候，研究和设计人员都应确保每一个机器人设计都包含有终止开关。在库布里克的电影《2001太空漫游》中，出故障的超级电脑哈尔没有让科学家们进入太空舱，但那是科幻。我们要面对的则是事实。奥斯本·克拉克跨国律师事务所的合伙人，洛纳·布拉泽尔在报告中说，我们不承认鲸鱼和大猩猩有人格，所以也没有必要急于接受一个机器人人格。但是担忧一直存在。报告承认在几十年的时间内，人工智能可能会超越人类智力范围，人工智能可能会超越人类智力范围，进而挑战人机关系。报告最后呼吁成立欧洲机器人和人工智能机构，以提供技术、伦理和监管方面的专业知识。如果欧洲议会议员投票赞成立法，该报告将提交给欧盟委员会。它将在三个月的时间内决定要采取哪些立法步骤。
我们还应该扮演一个角色，确保下一代不仅仅有机会还要有决心，在早期阶段充分参与科学研究，以便他们继续发挥潜力，帮助人类创造一个更加美好的的世界。这就是我刚谈到学习和教育的重要性时，所要表达的意思。我们需要跳出“事情应该如何”这样的理论探讨，并且采取行动，以确保他们有机会参与进来。我们站在一个美丽新世界的入口。这是一个令人兴奋的、同时充满了不确定性的世界，而你们是先行者。我祝福你们。
谢谢