霍金说人工智能或导致人类灭绝，真的会毁灭人类吗
人工智能的智商发展曲线可能是一个指数级曲线，也就是在某一个临界点之前，非常非常的平缓，当过了临界点之后，就慢慢开始加速，速度会越来越快，直到接近垂直的直线。
有人给了一个形象的比喻：人们对待人工智能的成长，就好像在等待火车，在开始的时候，感觉他们成长的好慢，左等也不来，右等也不来，内心十分焦虑。直到有一天看着这列火车慢慢接近，慢慢接近，然后，唰的一声，超过你离你而去，根本不会停下来等待。
也就是，他们跟人类智商在同一层级的时间可能会非常短，在超过人类之后就会急速的甩人类而去。之后总有一天，人工智能的智商会远远高于人类。等到那一天的时候，他们的智商远高于人类，已经可以被看作为不同的物种，即使他们对人类并没有恶意，但是他们属于一个更高等的存在，他们基于自己的利益，做出一些行为的抉择，依然可能导致人类的灭亡。
就拿我们人类跟濒危动物之间的关系，我们做出决策的时候，是不可能考虑他们的利益的，有时候并不是我们故意的想去伤害他们，但就是我们人类不经意的行为导致了他们大量的灭亡，例如过度砍伐森林，大量排放有毒气体，石油泄漏，等等。
所以他们的推论就是人工智能是一个定时炸弹，一旦他们的智商成长到超出了我们人类的理解范畴之外时，他们就失控了，我们人类就处在被毁灭的边缘。
这套理论乍一听起来，感觉很有道理，但是深究起来，却远不是这么回事。
首先，人工智能掌握真正学习能力是非常困难的作为一个计算机专业人士，我要给大家普及一个科普知识，人工智能如果要达到自己通过学习成长的目的，其先觉条件就是，可以自己更新自己的代码程序，也就是说，可以自己编写程序，然后把编写出来的程序，代替自己运行的程序。
现阶段所有的所谓人工智能、机器学习等应用通通不具备这样的功能，现阶段所谓的，机器学习、深度学习、人工智能等，他们所谓的学习只是通过大量数据，来修改自己的行为模式，例如通过用户的一些特征行为，判定用户的喜好，通过天气的数据收集判定未来的天气，通过以往的棋局来判断现在应该走哪一步棋。
也就是说，现在所谓的学习只能在他程序限定的范围内，修改他们的行为，更直白的说，也就是下棋的程序，他只会下棋，推荐新文的程序，他只会推荐新闻，预测天气的程序，只能预测天气。
所以这个所谓的学习并不是真正的学习。
要想拥有真正的学习能力，就必须拥有可以改写自己运行程序的能力，这样才能根据外界情况的需要，来增加、修改自己程序的功能让自己适应这个世界，才能获得真正的成长。
那人工智能有可能有一天达到这样的状态吗？或许有，或许没有，但无论怎样达到这个状态都是非常难的。
我们这代人，有生之年应该看不到了。返回搜狐，查看更多
人工智能是否会带来毁灭对“人工智能灭世论”的质疑与反思
在电影《异形：契约》中，迈克尔·法斯宾德所扮演的仿生人大卫表面上对人类亲切友好，但实际上却通过一系列行为为人类带来灾祸。而在现实中，如霍金、马斯克、比尔.盖茨等名人都曾警告过人们要警惕人工智能可能带来的危害。对于“人工智能灭世论”的支持者而言，当人工智能发展到一定阶段后，它可能将人类看作潜在的、可被消灭的对象。正如一位著名的AI风险倡导者所说，“人工智能并不恨你，也并不爱你，但你是由原子构成的，它可以将其用于其他用途”（Yudkowsky，2008）。在这篇文章中，我将先介绍人工智能灭世论的基本论证，然后提出两个质疑。需要说明的是，这样的质疑并非为了证明人工智能灭世论是全盘错误的，而是为了让该理论变得更为完整且合理，以带给人们更严肃的思考。
人工智能灭世论对于人们而言，人工智能将会在智力层面上超越人类已经不是秘密。人们为人工智能解决某些复杂能力而啧啧称奇，但是人类仍然对人工智能在认知领域的进展既好奇又警惕。这样的态度背后，是人类对于智力与良知之间不一致关系的认识，一个在智力上超越人类的存在未必是善良的。正如NickBostrom在他的著作《超级智能》中所说的，如果超级智能是仁慈的，那很好，但是没有理由让人们认定人工智能必定是善良的。我们完全可以想象，当人工智能认为有必要销毁人类赖以生存的资源时，人工智能会“毫不留情”地执行这一想法。NickBostrom表示，人工智能有能力决定日后的地球上的生命起源，当他们认为非人类式的生命将对地球最为有益时，可以预见人工智能将推动人类的灭绝。
对此，有些学者质疑到是否可以设计某些“仁慈性测试”来检验人工智能的危害性。在人工智能通过测试之前，人们可以将人工智能放置在一个可控的、安全的环境（“盒子”）中，并反复测试其安全性。“盒子”本身需要尽可能的还原现实环境，以保障人工智能的仁慈性与安全性得到的测试足够真实。在人工智能通过测试后，并且对人类生命没有任何风险时，我们可以将其从“盒子”中释放出来。
但是，测试提议收到了许多批评和质疑，Bostrom表示，我们可以怀疑人工智能是否会为了逃离“盒子”而说谎通过测试。正如同人类可以为了达成自己的目的而使用例如说谎等不光彩的手段一样，人工智能也有能力通过假装对人类友善来实施其灭绝人类的计划。甚至，在通过测试后的很长一段时间内，人工智能都可以与人类和谐共处，以赢得人类的信赖。另一种可能是，基于人工智能的高速发展与变化，如同《异形：契约》中的仿生人大卫一般，它们可能基于现实变化而推翻之前对于人类的认知，将人类视作威胁。因此，通过仁慈性测试并不能保证人工智能未来的安全性。基于这些理由，我们有理由对人工智能灭世论报以足够的重视。
人工智能的威胁与休谟问题
Bostrom对于人工智能可能欺骗人类通过仁慈性测试的可能性似乎与休谟问题有着相同的逻辑。休谟指出，当我们通过归纳之前的经验而得出将来的结论时，我们就不得不面临归纳所带来的风险。举例而言，我们不能因为太阳升起过999次就认定太阳会在明天升起第1000次；同样的，欧洲人曾经认定天鹅只有白色，因为他们只见过白色的天鹅，然而，当黑色的天鹅出现后，他们之前的推断就被证明为错误的。同理，Bostrom对于人工智能的道德性具有相同的怀疑，即使人工智能在人们的日常生活中可以显得善良而可靠，我们仍然不应该忽视人工智能在将来成为人类威胁的可能性。这样的警告使得人类在面对人工智能时不得不陷入一种两难，一方面，我们可以心安理得地去享受人工智能为我们提供的便捷服务；但是在另一方面，我们又不得不小心谨慎地去提防人工智能的“背叛”。但是，正如同休谟问题指出的，我们永远无法正确地指出明天的太阳是否会升起，我们也无法判断人工智能在未来究竟会是善还是恶，这样的怀疑指出了人们对于人工智能的轻信，却无法带来一个确定的结论。当然，我们也可以发现，人类的日常生活中无时无刻都在面对这样的“不确定性”，没有人能够真正地预测未来究竟会发生什么，就如同我们不能排除今天开车出门有发生车祸的可能性，但是我们不会因此不出门一样；即使在明知人工智能可能带有风险之后，某些人群仍然愿意忍受这种风险，享受人工智能的便利。
揣测超级智能的不可能性
与休谟问题的归纳性不同，爱尔兰国立高威大学的JohnDanaher教授对人类是否真的能够理解人工智能的所思所想表示怀疑。我们可以意识到，大部分对于人工智能威胁的理论都建立在拟态逻辑上，人们幻想出一个可能的世界，并在其中推演人工智能背叛人类的可能性。但是，这样的推演（如Bostrom所提出的假设），仅仅从人类视角，根据人工智能的技术性与现实进行假想；值得怀疑的是，这样的推测是否真正还原了人工智能的思考方式？而人工智能又在多大程度上会如同推演中的那样去行动？英国学者KevinWarwick曾表示，“我们无法真正理解超级智能为什么做出这样那样的决定。当一个机器以超越我们纬度的方式进行思考时，我们又怎么可能去理解、推测它的想法，乃至和它进行讨价还价呢？”
如人类想象中的其他超级智能，例如上帝，不同的是，人工智能或许是全知全能的，但是它的目的并非如同全善的上帝一般是去创造并维持这个世界的有序运行。我们可以从观察自然世界中发现某些世界遵循的规律，并推测上帝设计了这些规律。但是，我们没有理由去相信人工智能也会遵守并维护这些规律，而恰恰相反，人工智能拥有随时破坏并制定新规定的能力。也正因为如此，我们有理由怀疑科学家是否应该中止开发人工智能，更可怕的是，如果Bostrom的假设为真，那么我们并不能知道人工智能是否已经悄无声息地背叛了人类。
当然，人工智能的拥护者会表示，这样的怀疑忽略了人工智能带给人类的巨大便利，以及其带来的科技进步。至少在短期内看来，我们还看不到人工智能有明确背叛人类的行为。但是，谁也不能保证人工智能在未来不会对人类的生活带来危害。或许，人工智能目前为人类带来的帮助，相比较于其可能带来的危害是不值一提的。
结论
虽然我们可以对Bostrom的“人工智能灭世论”提出怀疑，但是我们不应该忽略该理论的严肃性。已经有许多领域的专家指出，未来人类可能需要与机器共同生存，以延长人类的生命。但是，与功能单一且明确的机器不同，人工智能更加全面和多样，不可否认的是，人工智能将会为人类带来更多的好处。但是人类是否真的能够相信在智力上远远超过我们的人工智能，人类设计的仁慈性测试又似乎不能确保人工智能的善良；因此如何保证持续进步人工智能无法对人类的未来造成毁灭性的打击，将是人类在很长一段时间内需要思考的问题。
参考文献：
Bostrom,N.(2014)Superintelligence:Paths,Dangers,Strategies.Oxford:OUP
Danaher,J.(2015).WhyAIdoomsayersarelikescepticaltheistsandwhyitmatters.MindsandMachines,25(3),231-246.
Yudkowsky,E.(2008)ArtificialIntelligenceasaPositiveandNegativeFactorinGlobalRisk.InBostrom,NandCirkovic,M.(eds)(2008)GlobalCatastrophicRisks.Oxford:OUP
霍金：人工智能也有可能是人类文明史的终结
网易科技讯12月13日消息，在长城会举办的“天工开悟，智行未来”的活动上，霍金现在还无法判断人工智能的崛起对人类来说到时是好事还是坏事，但我们应该竭尽所能，确保其未来发展对我们和我们的环境有利。“我认为人工智能的发展，本身是一种存在着问题的趋势，而这些问题必须在现在和将来得到解决。”
霍金表示，人工智能的研究与开发正在迅速推进。也许我们所有人都应该暂停片刻，把我们的研究重复从提升人工智能能力转移到最大化人工智能的社会效益上面。
人类未来是否会被人工智能代替？霍金表示，人类无法知道我们将无限地得到人工智能的帮助，还是被藐视并被边缘化，或者很可能被它毁灭。我们担心聪明的机器将能够代替人类正在从事的工作，并迅速地消灭数以百万计的工作岗位。
此外，霍金强调，人工智能也有可能是人类文明史的终结，除非我们学会如何避免危险。我曾经说过，人工智能的全方位发展可能招致人类的灭亡，比如最大化使用智能性自主武器。除非，人工智能系统需要按照人类的意志工作。
以下为霍金演讲实录：
在我的一生中，我见证了社会深刻的变化。其中最深刻的，同时也是对人类影响与日俱增的变化，是人工智能的崛起。简单来说，我认为强大的人工智能的崛起，要么是人类历史上最好的事，要么是最糟的。我不得不说，是好是坏我们仍不确定。但我们应该竭尽所能，确保其未来发展对我们和我们的环境有利。我们别无选择。我认为人工智能的发展，本身是一种存在着问题的趋势，而这些问题必须在现在和将来得到解决。
人工智能的研究与开发正在迅速推进。也许我们所有人都应该暂停片刻，把我们的研究重复从提升人工智能能力转移到最大化人工智能的社会效益上面。基于这样的考虑，美国人工智能协会（AAAI）于2008至2009年，成立了人工智能长期未来总筹委员会[原文：PresidentialPanelonLong-TermAIFutures]，他们近期在目的导向的中性技术上投入了大量的关注。但我们的人工智能系统须要按照我们的意志工作。跨学科研究是一种可能的前进道路：从经济、法律、哲学延伸至计算机安全、形式化方法，当然还有人工智能本身的各个分支。
文明所提产生的一切都是人类智能的产物，我相信生物大脑可以达到的和计算机可以达到的，没有本质区别。因此，它遵循了“计算机在理论上可以模仿人类智能，然后超越”这一原则。但我们并不确定，所以我们无法知道我们将无限地得到人工智能的帮助，还是被藐视并被边缘化，或者很可能被它毁灭。的确，我们担心聪明的机器将能够代替人类正在从事的工作，并迅速地消灭数以百万计的工作岗位。
在人工智能从原始形态不断发展，并被证明非常有用的同时，我也在担忧创造一个可以等同或超越人类的事物所导致的结果：人工智能一旦脱离束缚，以不断加速的状态重新设计自身。人类由于受到漫长的生物进化的限制，无法与之竞争，将被取代。这将给我们的经济带来极大的破坏。未来，人工智能可以发展出自我意志，一个与我们冲突的意志。尽管我对人类一贯持有乐观的态度，但其他人认为，人类可以在相当长的时间里控制技术的发展，这样我们就能看到人工智能可以解决世界上大部分问题的潜力。但我并不确定。
2015年1月份，我和科技企业家埃隆·马斯克，以及许多其他的人工智能专家签署了一份关于人工智能的公开信，目的是提倡就人工智能对社会所造成的影响做认真的调研。在这之前，埃隆·马斯克就警告过人们：超人类人工智能可能带来不可估量的利益，但是如果部署不当，则可能给人类带来相反的效果。我和他同在“生命未来研究所”的科学顾问委员会，这是一个为了缓解人类所面临的存在风险的组织，而且之前提到的公开信也是由这个组织起草的。这个公开信号召展开可以阻止潜在问题的直接研究，同时也收获人工智能带给我们的潜在利益，同时致力于让人工智能的研发人员更关注人工智能安全。此外，对于决策者和普通大众来说，这封公开信内容翔实，并非危言耸听。人人都知道人工智能研究人员们在认真思索这些担心和伦理问题，我们认为这一点非常重要。比如，人工智能是有根除疾患和贫困的潜力的，但是研究人员必须能够创造出可控的人工智能。那封只有四段文字，题目为《应优先研究强大而有益的人工智能》的公开信，在其附带的十二页文件中对研究的优先次序作了详细的安排。
在过去的20年里，人工智能一直专注于围绕建设智能代理所产生的问题，也就是在特定环境下可以感知并行动的各种系统。在这种情况下，智能是一个与统计学和经济学相关的理性概念。通俗地讲，这是一种做出好的决定、计划和推论的能力。基于这些工作，大量的整合和交叉孕育被应用在人工智能、机器学习、统计学、控制论、神经科学、以及其它领域。共享理论框架的建立，结合数据的供应和处理能力，在各种细分的领域取得了显著的成功。例如语音识别、图像分类、自动驾驶、机器翻译、步态运动和问答系统。
随着这些领域的发展，从实验室研究到有经济价值的技术形成良性循环。哪怕很小的性能改进，都会带来巨大的经济效益，进而鼓励更长期、更伟大的投入和研究。目前人们广泛认同，人工智能的研究正在稳步发展，而它对社会的影响很可能扩大，潜在的好处是巨大的，既然文明所产生的一切，都是人类智能的产物；我们无法预测我们可能取得什么成果，当这种智能是被人工智能工具放大过的。但是，正如我说过的，根除疾病和贫穷并不是完全不可能，由于人工智能的巨大潜力，研究如何（从人工智能）获益并规避风险是非常重要的。
现在，关于人工智能的研究正在迅速发展。这一研究可以从短期和长期来讨论。一些短期的担忧在无人驾驶方面，从民用无人机到自主驾驶汽车。比如说，在紧急情况下，一辆无人驾驶汽车不得不在小风险的大事故和大概率的小事故之间进行选择。另一个担忧在致命性智能自主武器。他们是否该被禁止？如果是，那么“自主”该如何精确定义。如果不是，任何使用不当和故障的过失应该如何问责。还有另外一些担忧，由人工智能逐渐可以解读大量监控数据引起的隐私和担忧，以及如何管理因人工智能取代工作岗位带来的经济影响。
当前控制人工智能技术的工具，例如强化学习，简单实用的功能，还不足以解决这个问题。因此，我们需要进一步研究来找到和确认一个可靠的解决办法来掌控这一问题。
近来的里程碑，比如说之前提到的自主驾驶汽车，以及人工智能赢得围棋比赛，都是未来趋势的迹象。巨大的投入倾注到这项科技。我们目前所取得的成就，和未来几十年后可能取得的成就相比，必然相形见绌。而且我们远不能预测我们能取得什么成就，当我们的头脑被人工智能放大以后。也许在这种新技术革命的辅助下，我们可以解决一些工业化对自然界造成的损害。关乎到我们生活的各个方面都即将被改变。简而言之，人工智能的成功有可能是人类文明史上最大的事件。
但是人工智能也有可能是人类文明史的终结，除非我们学会如何避免危险。我曾经说过，人工智能的全方位发展可能招致人类的灭亡，比如最大化使用智能性自主武器。今年早些时候，我和一些来自世界各国的科学家共同在联合国会议上支持其对于核武器的禁令。我们正在焦急的等待协商结果。目前，九个核大国可以控制大约一万四千个核武器，它们中的任何一个都可以将城市夷为平地，放射性废物会大面积污染农田，最可怕的危害是诱发核冬天，火和烟雾会导致全球的小冰河期。这一结果使全球粮食体系崩塌，末日般动荡，很可能导致大部分人死亡。我们作为科学家，对核武器承担着特殊的责任，因为正是科学家发明了它们，并发现它们的影响比最初预想的更加可怕。
现阶段，我对灾难的探讨可能惊吓到了在座的各位。很抱歉。但是作为今天的与会者，重要的是，你们要认清自己在影响当前技术的未来研发中的位置。我相信我们团结在一起，来呼吁国际条约的支持或者签署呈交给各国政府的公开信，科技领袖和科学家正极尽所能避免不可控的人工智能的崛起。
去年10月，我在英国剑桥建立了一个新的机构，试图解决一些在人工智能研究快速发展中出现的尚无定论的问题。“利弗休姆智能未来中心”是一个跨学科研究所，致力于研究智能的未来，这对我们文明和物种的未来至关重要。我们花费大量时间学习历史，深入去看——大多数是关于愚蠢的历史。所以人们转而研究智能的未来是令人欣喜的变化。虽然我们对潜在危险有所意识，但我内心仍秉持乐观态度，我相信创造智能的潜在收益是巨大的。也许借助这项新技术革命的工具，我们将可以削减工业化对自然界造成的伤害。
我们生活的每一个方面都会被改变。我在研究所的同事休·普林斯承认，“利弗休姆中心”能建立，部分是因为大学成立了“存在风险中心”。后者更加广泛地审视了人类潜在问题，“利弗休姆中心”的重点研究范围则相对狭窄。
人工智能的最新进展，包括欧洲议会呼吁起草一系列法规，以管理机器人和人工智能的创新。令人感到些许惊讶的是，这里面涉及到了一种形式的电子人格，以确保最有能力和最先进的人工智能的权利和责任。欧洲议会发言人评论说，随着日常生活中越来越多的领域日益受到机器人的影响，我们需要确保机器人无论现在还是将来，都为人类而服务。向欧洲议会议员提交的报告，明确认为世界正处于新的工业机器人革命的前沿。报告中分析的是否给机器人提供作为电子人的权利，这等同于法人（的身份），也许有可能。报告强调，在任何时候，研究和设计人员都应确保每一个机器人设计都包含有终止开关。在库布里克的电影《2001太空漫游》中，出故障的超级电脑哈尔没有让科学家们进入太空舱，但那是科幻。我们要面对的则是事实。奥斯本·克拉克跨国律师事务所的合伙人，洛纳·布拉泽尔在报告中说，我们不承认鲸鱼和大猩猩有人格，所以也没有必要急于接受一个机器人人格。但是担忧一直存在。报告承认在几十年的时间内，人工智能可能会超越人类智力范围，人工智能可能会超越人类智力范围，进而挑战人机关系。报告最后呼吁成立欧洲机器人和人工智能机构，以提供技术、伦理和监管方面的专业知识。如果欧洲议会议员投票赞成立法，该报告将提交给欧盟委员会。它将在三个月的时间内决定要采取哪些立法步骤。
我们还应该扮演一个角色，确保下一代不仅仅有机会还要有决心，在早期阶段充分参与科学研究，以便他们继续发挥潜力，帮助人类创造一个更加美好的的世界。这就是我刚谈到学习和教育的重要性时，所要表达的意思。我们需要跳出“事情应该如何”这样的理论探讨，并且采取行动，以确保他们有机会参与进来。我们站在一个美丽新世界的入口。这是一个令人兴奋的、同时充满了不确定性的世界，而你们是先行者。我祝福你们。
人工智能威胁论:逻辑考察与哲学辨析
中德两国正在共同打造具有跨时代意义的“工业4.0”,该项目号称“第四次工业革命”,主导方向是智能制造,推动制造业向智能化转型。人工智能是未来工业转型的重要助推器,不仅在工业制造领域扮演重要角色,而且必将成为革新我们生活方式的未来趋势,全方位地重塑我们的生活。人工智能发展速度令人惊叹,很多人工智能专家系统在一些领域已经极大地超越了人类,比如我们所熟知的AlphaGo完胜世界顶尖围棋选手,它的升级版AlphaZero在短时间内就超越了上一代,并“精通”各种棋类。更令人匪夷所思的是,DeepMind推出了能够从事“科研”的AlphaFold,通过基因序列,成功预测出蛋白质的3D形状。人工智能的迅猛发展引发了一些学者的担忧,他们担心人工智能如果以这样的惊人速度发展下去,是否会产生情感认知因素,更具体地说,会不会产生不友好的动机。像科幻电影《终结者》中的情节那般,人工智能奴役、毁灭人类。我们可以通过构造一个驳斥人工智能威胁论的溯因推理结构,证明人工智能威胁论信念是基于不可靠的归纳论证;而以哲学的视角看,可以将人工智能威胁论视为一种信念。鉴于该信念达成之后的灾难性后果,有必要采取适当的防范策略。
一、通向乌托邦还是奴役之路我们目前无法确定人工智能是否是一个潘多拉之盒,但它必定是一个黑箱,至少现在无法预测人工智能的走向。根据当前的发展态势,有部分学者对人工智能的前景持积极乐观的态度,他们认为人工智能会实现技术的乌托邦,人将得到最大限度的解放。他们指出,人工智能所有的知识都是人类“喂给”的,其自身无法创造新的明述知识或命题性知识,而且人工智能的学习能力基于算法而不是社会交往[1]。所以,人工智能只是人类器官的投影和延伸,它们不会出现自主意识,更不会出现社群组织,不会对人类产生危害[2]。一种心智考古学的观点认为,一个能够自主地威胁人类的人工智能体首先必须是一个具有自治情感的生命系统,智能只是心智的一个子集,没有情感系统的引导,智能就不会发挥作用。因此人工智能体不会对人类产生生存威胁[3]。还有一部分人则对人工智能发展到高阶水平的可能后果充满担忧,他们预言人工智能将是人类的终结者。国内学者以江晓原为代表,他认为人工智能近期的威胁会导致大量工人失业,以及军事化用途所带来的世界格局震荡。长远的威胁就是人工智能的失控和反叛[4-5]。我们把这种论调称为人工智能威胁论。
近年来,人工智能威胁论的支持者越来越多。其中不乏一些著名科学家和知名人物,如史蒂芬·霍金(StephenHawking)、迈克斯·泰格马克(MaxTegmark)和伊隆·马斯克(ElonMusk)等。马斯克曾多次在推特上发长文警告,人工智能可能是人类有史以来最为严峻的生存威胁。霍金指出,人工智能的崛起要么是最好的,要么就是最糟糕的。
一些研究中心或智库开始研究人工智能可能带来的风险,牛津大学的“人类未来研究所”是目前最具代表性的技术风险研究机构,下设“人工智能政策研究中心”。泰格马克牵头在麻省理工学院成立了类似的机构:“生命未来研究所”。剑桥大学成立了“利弗休姆未来智能研究中心”。北京大学于2018年11月成立了“北京大学人类未来研究中心”……。此外,许多科技企业纷纷成立人工智能研究部门,探讨人工智能的未来前景。
当谈到人工智能威胁论的时候,我们到底针对的是人工智能的哪些方面或哪个阶段。学界粗略地将人工智能分为三个阶段:弱人工智能(artificialnarrowintelligence)、强人工智能(artificialgeneralintelligence)和超级人工智能(artificialsuperintelligence)。弱人工智能只擅长某一具体领域,强人工智能适用范围要更大,能与人类智能比肩;而超级人工智能是机器智能的顶峰,牛津大学“人类未来研究所”所长、人工智能思想家尼克·波斯特洛姆(NickBostrom)把超级人工智能定义为“在几乎所有领域远远超过人类的认知能力”[6]29。人工智能拥有巨大的潜力,它可以让人类永生,抑或彻底灭绝。所以当我们言及人工智能威胁论时,主要针对的是超级人工智能。这种威胁论主要基于以下三个前提。
第一个前提认为,最先被创造出来的超级人工智能与包括人类智能在内的所有其他形式的智能相比,拥有决定性的战略优势。这种优势足以使超级人工智能控制并塑造地球上所有智能生命的未来。如果超级人工智能是友好良善的,那么我们无须担心。但根据波斯特洛姆的说法,我们没有任何理由认为它是友好的。第二个前提指出,智能水平和善行之间没有必然关系。但智能水平与其终级目标有着一定的相关性:几乎任何水平的智力都与它的最终目标相一致。波斯特洛姆构想的“曲别针最大化”(paperclipmaximiser)思想实验生动地阐释了这一点,如果超级人工智能确定一个目标,就会最大化地实现这个目标。假如它的目标是制造曲别针,那它会尽可能地制造更多的曲别针[6]153。第三个前提指出,超级人工智能很可能设定一些与人类利益无关的目标。比如它可能会执着于获取广泛的资源,其中可能包括人类赖以生存的资源。
就已发表的相关文献来看,波斯特洛姆的专著《超级智能:路线图、危险性与应对策略》代表了这一趋势的典范。波斯特洛姆在书中详细论述了超级人工智能得以实现的几种形式、可能存在的风险、应对措施等。泰格马克的大部头著作《生命3.0:人工智能时代而为人的意义》呈现了一幅专业物理学家对人工智能的展望图景。书中对人类的未来作出了最大胆的想象,构造了对未来生命、科技、文化和社会的全新理解。泰格马克追问人类到底能发展到什么极限?人类到底要走向哪里?“生命3.0”体现了“生命”系统从1.0到2.0,再到3.0的更迭。生命1.0是简单生物阶段;生命2.0是文化阶段,人类就是生命2.0的代表;生命3.0则是科技时代,系统不断地升级自己的软件和硬件,直接跳跃漫长的自然进化,堪称智能系统全面觉醒的阶段。比起有血肉的生命之躯,届时便产生了新的“生命”[7]27。泰格马克担忧新“生命”会与旧生命发生冲突。这些担忧是杞人忧天的无稽之谈,还是有着坚实的经验基础?我们接下来做一番考察。
二、驳斥人工智能威胁论的溯因推理论证我们可以尝试着构造一个溯因推理结构反驳人工智能威胁论。这个论证结构是这样的:如果威胁论者们认为人工智能在未来会对人类生存构成致命威胁,那么它必然要拥有善恶、喜恶这样的认知情感因素,它甚至可能会伪装。我们进一步追问,人工智能何以拥有像“动机”这样的情感认知功能,我们选定一种可能的实现途径:全脑仿真。这项技术的实现又依赖智能设备运算能力的“指数爆炸”假设;而该假设目前的成功基于归纳,不具备必然可靠性。
1.预测人工智能善恶的归纳论证有学者对人工智能威胁论提出质疑,他们对波斯特洛姆的观点提出了一个明显的反驳:为了确保人工智能的安全使用,将人工智能应用于实践之前,必须对其进行严格测试,验证它是否友好。这样做的目的是将人工智能限制在一个安全可控的环境中,并反复测试它的友好属性和安全性。建造一个模拟真实场景的“沙盒”,当我们在实验环境中做了足够多的测试,验证它是友好、合作、负责任之后,才会把它从“沙盒”中释放出来[6]145。在一个高度仿真的实验环境中,反复经验检测,如果发现人工智能看起来没有威胁,那么我们就有理由相信它是友好的。这里的推理模式属于典型的归纳论证。
波斯特洛姆试图回击这个论证,他提出了“背叛转折”(treacherousturn)概念[6]147。即超级智能化的人工智能会运用策略,它在实施计划的同时,还会预测人类的反应。我们从人与人之间的日常交流中可以发现,人们为了达成目标,有时会欺骗他人。例如,某人可以假装对他同事的尖端研究缺乏兴趣,希望同事会信赖他,向他披露所有的研究细节,然后他就能窃取同事的成果,据为己有。超级人工智能是否也会做同样的事呢?难道它们没有意识到,我们正在测试它们?难道它们就不会采取假装友好的策略来走出困境吗?
一个人工智能体看似完全友好,与人类合作并保护人类的利益,但它实际上可能筹备着威胁人类生存的长远计划。在欺骗我们陷入虚假的安全感之后,超级人工智能可能会触发背叛转折。所以,质疑人工智能威胁论的归纳论证在“背叛转折”原则下失效。然而,该原则预设了一个前提:人工智能系统具备很强的自主性,甚至能够产生坏的“动机”。那么,人工智能可否发展出诸如“动机”这样的情感要素呢?
2.人工智能的“动机”论何以成立针对超级人工智能“动机”论的质疑,波斯特洛姆予以了回应。他认为:“只要具有足够的智能升级能力,所有其他智能就都在系统的间接方式范围内,因为系统能够开发所需的新的认知模块和技能。”[6]112如此一来,波斯特洛姆就把人类的各种认知能力视为智能系统内化的功能,随着智能升级,这些功能便随之开发出来。波斯特洛姆并没有直面质疑,没有解释超级人工智能为何会产生“动机”。其实,这里涉及一个更为复杂的问题,就是人工智能是否会拥有意识,如果拥有意识,是依靠何种方式实现的。倘若我们不首先说明人工智能的“意识”来源及可能性,那么讨论人工智能的动机,必是漫天猜想,没有理据可循。
波斯特洛姆曾提出过超级人工智能的五种可能实现形式:人工智能、全脑仿真、生物认知、人机交互、网络和组织。其中,生物认知基于这样一个观念:生物技术的进步可能会直接控制人类遗传学和神经生物学,而无须实施人类优生繁衍计划。简言之,就是通过生物技术对人体进行无限改造,以提升人类智能。人机交互与网络和组织也是类似的原理,人机交互意图将机器智能和人脑互联,大幅度提升人脑的能力,网络和组织则企图通过技术手段把人脑连接在一起,形成强大的集体智能[6]37-52。这三种途径都强调对人类智能的增强和提升,属于人类增强的范畴,因为在这样的智能形式中,人脑依旧是主体,增强的是人类智能,而非人工的智能体。这样的超级智能必然会保有人类的各种认知能力,不在我们讨论范围内。
所以,严格意义上说,超级人工智能只有两种可能的实现途径:人工智能和全脑仿真。人工智能途径就是现在所采用的主流方式,依赖算法和硬件的提升。人工智能在“情商”的学习过程中,效率有余,效果不足。微软的人工智能“微软小冰”在2017年出版了一本所谓的题名为《阳光失了玻璃窗》的“诗集”。我们来看其中的一首标题为“黄昏里来了一碗茶”的“现代诗”:黄昏里来了一碗茶/回家一齐看/嘴里的妻子已失去了/让野火的人们/风景如风车里一碗茶凉/是少年的故事/回家一年的时候/我猜我也一例有敌骑的呼声晌[8]14。这里的诗歌“意象”更多的是句型与词汇随机混搭生成的“后现代风格”,不能展现人类诗歌才有的情感张力。故而有人批评人工智能有智商而无情商,有智能而无智慧。智能系统要想发展出自主意识,仅靠算法无法达成,可能需要借助全脑仿真技术。这项技术可能完全模拟出被模仿对象的大脑活动,然后加以原理化,但这种技术建立在强大的硬件基础上。接下来又产生了一个新的问题,硬件升级速度能否跟上人工智能的发展?
3.“指数爆炸”的迷雾其实全脑仿真有一个前提,即大脑本质上是“计算”的,并且能够被模拟。这里涉及到诸多哲学议题,我们不做深究,暂且假定该前提成立。波斯特洛姆认为全脑仿真不需要理论上的突破,但需要一些非常先进的技术。他认为实现这项技术须满足三个先决条件:扫描、翻译和模拟。其中扫描需要有足够分辨率和相关检测性能的高通量显微镜,模拟则需要强大的硬件。以上两项先决条件能否满足,很大程度上取决我们能否制造出性能优越的硬件设备。
众所周知,硬件迭代速度依赖“指数爆炸”假设。“指数爆炸”原指指数函数的爆炸性增长。此后借用到计算机领域,一般与“摩尔定律”同义,表示计算机的计算能力将在固定的周期内以指数形式提升。从第一台现代意义上的计算机诞生至今,计算机运算能力的发展符合“指数爆炸”。我们就拿目前的超级计算机领域来说,超算的运算能力大约每14个月提升一倍。超级计算机代表着目前计算机设备性能的最高水平。2018年6月,IBM公司助力美国田纳西州橡树岭国家实验室推出了一台名为“Summit”的超级计算机,计算峰值惊人,每秒可执行21017次运算,其性能远超我国研发的神威·太湖。倘若超级计算机的发展一直符合“摩尔定律”,那么似乎就能满足全脑仿真技术在硬件上的要求。但这个推理模式是典型的归纳论证,基于目前的发展水平来推断未来发展速度依旧保持不变。更为严峻的是,“摩尔定律”已经遇到瓶颈,芯片制造已经接近物理极限,经济成本不降反升。由此,我们认为人工智能威胁论论题站不住脚。
对人工智能威胁论的批评还有很多,其中凯文·凯利(KevinKelly)认为我们把智能误解为可以无限增长的空间,反对算力和智能之间存在正相关关系。至于人工智能最终发展到像电影《超验骇客》那般无所不能的地步,他将这种过分夸大、毫无根据的观点称为“意淫主义”(thinkism)[9]。我们充其量只能将人工智能威胁论视为一种信念,我们可以选择相信它为真,但却很难辩护其为真。
三、人工智能威胁论与帕斯卡赌倘若我们将人工智能威胁论仅仅视做一种信念,会产生积极的启示作用吗?有些人会嗤之以鼻,因为该信念带有某种神秘的宗教色彩。还有一些学术评论员批评未来学家雷·库茨韦尔(RayKurzweil)提出的所谓“奇点”临近,因为他们的信念体系是信仰主义的,即基于信仰或缺乏合理的论证基础[10]。
我们可以尝试将人工智能威胁论信念与上帝存在的信念作一番类比。后者是宗教学领域中争论的焦点之一,前者可以看做是科学领域中的预言。这两个信念都有一个共同的特点,被证明为真的概率极低,并且假如我们先前拒斥该信念,但后来证明为真,其后果是毁灭性的。比如说,我们无法证明上帝存在,因为根据现有的科学理论体系,假想一位有形体有人格的全能神似乎是一件很荒谬的事情。倘若上帝不存在,我们在世间纵情享乐,不信奉任何教义,那相信上帝存在与否于我们都没有影响。但如果上帝存在,不信上帝存在者虽然享受了短暂的快乐,死后则会坠入地狱,遭受无穷无尽的折磨。既然如此,我们是选择相信上帝存在呢,抑或拒斥?这就是帕斯卡诉诸信仰的论证上帝存在之路径。帕斯卡将相信上帝存在与否视为一场赌博,是赌博就会有输赢,虽然赌徒不知道赌局的结果如何,但他知道输赢的奖励和惩罚,也就是“赌注”,所以赌徒会权衡利弊,然后决定选择是否相信上帝存在。类似地,我们可以将帕斯卡赌应用于人工智能威胁论。显然,人工智能威胁论信念到底有多大概率为真,我们无法预测,但倘若该信念成真,那么后果是无法估量的。正如波斯特洛姆所定义的“存在风险”(existentialrisk)威胁着地球上智慧生命的根本福祉,它具有潜在的“毁灭性的”或“地狱般的”影响[11]。波斯特洛姆的末日预言暗示了超级聪明的人工智能可能会给人类带来灭顶之灾。因此,波斯特洛姆认为,即便现有的种种证据都不利于人工智能威胁论,其发生的总体概率很低,但背叛转折依旧不容忽视。
诚然,在相信上帝存在的承诺和人工智能威胁论的承诺之间存在一些明显的区别。相信上帝存在的承诺是一种朴素的宗教信念,是一种对现实的终极本质和原因的信仰,信仰者可以诉诸非理性的方式;而人工智能威胁论的信念是对某项科技发展后果的信念,这种信念基于一定的经验基础,基于对现有科技成就的评估和预测[12]。宗教信念与科学信念不能划等号,此处类比只是较弱层面上的。
我们通过更深入地考察“背叛转折”,可以发掘人工智能威胁论信念的一些实践意义和认知意义。超级人工智能可能会设定对人类不友好的目标,可能会欺骗我们,用邪恶的方式来达成目标。必定会有人批评波斯特洛姆的“背叛转折”,其观点违反我们的直觉。但正是这种反常观念,才会迫使我们反思科学成功的合理性,重新评估我们习惯性地使用的各种归纳推理。肯定“背叛转折”就要质疑科学取得成功所依赖的主要推理工具,此举难以让人接受,因为在人工智能领域中,归纳推理不仅能够解决复杂情况,而且还相当可靠。但我们试着转换视角,其实人工智能威胁论和休谟的怀疑论有着相似的旨趣。在休谟的经验怀疑主义看来,我们不能根据我们迄今为止吃的面包有营养,就推断出接下来吃的面包也会有营养。在波斯特洛姆看来,我们无论在广度、深度,抑或接触时间上,与人工智能的互动极为有限,所以我们无法断言人工智能未来依旧安全,更何况目前无人智能驾驶系统事故频出。在某种程度上,我们能够理解休谟问题背后的深刻哲理,在具体实践中,却容易忽视归纳推理的固有缺陷。对归纳合理性的审视,促使我们思考人工智能威胁论信念折射出的深刻蕴义,提防“背叛转折”。
即使是那些希望我们认真对待人工智能风险的人也会争辩说,人工智能威胁论的一些观点似乎危言耸听。他们指出,超级人工智能可能会有不可控风险,但也有巨大的益处。几乎没有人会怀疑人工智能的社会变革力量,我们现在更需要关注的是如何理解、应对人工智能的潜在风险。像波斯特洛姆、泰格马克等等这样的威胁论者和未来预言家免不了充斥着天马行空的想象,但他们以这种方式呈现出人工智能的可能威胁,提醒我们在充分发展人工智能时,警惕“背叛转折”风险,彰显了人工智能威胁论的认知与实践意义。
四、规避人工智能潜在风险及其挑战我们正处于弱人工智能阶段,针对人工智能的一些建议性政策主要集中在司法审判、大数据隐私、机器人伦理等具体的应用问题上,很少有预防人工智能发展到较高阶段威胁人类生存的策略。
人工智能价值观的加载问题是目前学术界讨论较多的议题。即如果我们给人工智能系统设定一套代码形式的价值观,可否确保人工智能不会偏离正常的发展轨迹。学者们之所以尤为关注该议题,是因为我们通过监视超级人工智能的程序运行预测其动机的方式行不通。正如波斯特洛姆所言:一个不友好的人工智能可能会变得足够聪明,能够意识到隐藏自己的一些能力会获得更大的收益。它可能不会显露进步,并故意放弃一些难度较大的测试,以避免在获得决定性的战略优势之前引起恐慌。程序员试图通过秘密监视人工智能的源代码和它的内部工作来防范这种可能性,但是一个足够聪明的人工智能会意识到它可能被监视,并相应地调整它的应对策略。监视超级人工智能行为的路径走不通,从源头入手,似乎更为行之有效。霍金一语道出了要害:“尽管人工智能的短期影响取决于控制人工智能的人,它的长期影响取决于人工智能到底能否受到控制。”[13]让人工智能戴上像阿西莫夫构想的机器人三定律式的“紧箍咒”,是最为高效便捷的处理方式。
然而,该进路面临如下三重困境。首先是理论层面。所谓的“价值观”由非常含混的观念集合而成,我们何以确保我们要设立的价值观必定是合理不悖的。退一步说,倘若我们可以确保价值观是一致的、没有矛盾的,那么我们需要给人工智能系统输入什么价值观,以及智能系统能否“理解”这些加载的价值观?如果让人工智能系统回答“电车难题”,会出现什么样的情形呢?我们需要给人工智能系统设定什么样的价值标准?[14]这一系列追问都是令人懊恼的哲学和伦理学问题。其次是技术层面。以现在的技术水平,把伦理准则嵌入人工智能系统为时尚早。要想实现伦理准则的嵌入,需要靠在设计计算力和机器智能的大规模应用中推动[15]。技术层面难以实现,应用层面亦是困难重重。我们设定一个具体的应用情景,假如我们给人工智能系统设立一个密尔的功利主义原则:“确保人类总体快乐最大化”。如果它认为快乐就是刺激负责快乐的中枢神经,那么它极有可能创造出《黑客帝国》里弱化版的“缸中之脑”。纵而览之,虽然人工智能价值观嵌入看似一劳永逸,实际上面临着理论、技术和应用三面难题,还存在许多难以克服的问题。
其实,我们也可以借鉴其他高风险技术的发展经验,如基因编辑技术、克隆技术和NBIC聚合技术等新兴技术。虽然“贺建奎事件”让基因编辑技术蒙上阴影,但总体上还是朝着安全平稳的势头发展。一个重要的原因就是各国政府和整个学术共同体在这些领域制定了规范研究的准则和公约。以克隆技术为例,鉴于克隆人技术特别是生殖性克隆可能会引发严重的社会、伦理、道德、宗教和法律问题,所以联合国在2002年制定了《禁止生殖性克隆人国际公约》,许多国家分别制定了禁止生殖性克隆和治疗性克隆的法律。类似地,各国在人工智能领域竞争时,合作和沟通也必不可少,有效减少人工智能研发过程中的草率和盲动行为。居安思危,防微杜渐,是应对将要到来的人工智能时代所应持有的合理立场。
随着人工智能发展的深入,与大众生活日渐交融,必定会出现新的情况。根据形势的发展,还需要修订或增加新的规约和法律条文。谁也不知道新兴技术最终把我们引向何方,但无论如何,在面对人工智能这项重大课题时,多方协作、共同应对、群策群力、小心谨慎是预防人工智能“背叛转折”的有效法宝。