江晓原：为什么人工智能必将威胁我们的文明
对于人工智能，我们必须认识到，它跟以往我们讨论的所有科学技术都不一样。现在人类玩的最危险的两把火，一把是生物技术，一把就是人工智能——生物技术带来很多伦理问题，但是那把火的危险性还没有人工智能大，人工智能这把火现在最危险。最近一些商业公司，通过“人机大战”之类的商业炒作，一方面加剧了这种危险，但另一方面也激发了公众对人工智能前景的新一轮关注，这倒未尝没有好处。
我们可以把人工智能的威胁分成三个层次来看：近期的、中期的、远期的——也就是终极威胁。
电动汽车特斯拉的生产流水线已经大量使用机械手臂近期威胁：大批失业、军事化
人工智能的近期威胁，有些现在已经出现在我们面前了。近期威胁基本上有两条：
第一条，它正在让很多蓝领工人和下层白领失去工作岗位。现在较低层次的人工智能已经在很多工厂里被大量采用。有些人士安慰人们说，以前各种各样新的技术被发明时，也曾经让一些工人失去岗位，后来他们不都找到新的岗位了吗？但是我认为人工智能不一样。媒体曾放过这样的消息，包括人工智能的从业者自己也都在欢欣鼓舞地展望，说人类现在绝大部分的工作岗位，人工智能都是可以替代的。果真如此，显然这个社会将会变成绝大部分人都没有工作的状态。对于这样的社会，人类目前没有准备好。今天如果有少数人没有工作，多数人有工作，多数人养着少数人问题不大，这样的社会是我们现有的社会制度和伦理道德结构能够承受的。但是如果颠倒过来，这个社会中有相当大的比例——且不说超过50%，按照那些对人工智能的展望，将来90%以上的工作岗位都会被人工智能取代。比如说人们想听一场报告，找个人工智能来做就可以了，说不定比现在的听起来还要来劲。
当这个社会大部分人都没有工作的时候，社会会变得非常不稳定。那么多没有工作的人，他们可以用无限的时间来积累不满，酝酿革命，于是就会危及社会稳定。无论东方还是西方，无论什么意识形态的社会制度，在这个形势面前都将黯然失色。所以说人类还没有准备好。
顺便再展望一下，既然90%以上的工作岗位都可以由人工智能来取代，那么“革命战士”这种工作岗位能不能由人工智能来取代？革命能不能由人工智能来发起和进行？当然也可能。但是想想看，这样的革命会带来什么呢？很简单，那就是科幻影片《黑客帝国》和《未来战士》中的世界——人类被人工智能征服、统治、压迫。
这是人工智能近期的第一个威胁，现在在很多工厂已经出现了。对工厂来说，这个级别的人工智能是很容易实现的。那些工厂的管理者说，我们换一个机器人上来，它的成本只不过是三个工人一年的工资，但是它们管理起来太容易了。管理工人很难，你让他加班他不愿意，加得多了他可能跳楼自杀或上街游行，而机器人你让它24小时一直干着都没有问题，管理成本又节省下来——管理成本往往是无形的，不那么容易计算。换用机器人很容易就可以收回成本，也许一年就收回来了。所以他们乐意用机器人取代工人。一些地方政府还通过政策鼓励当地的工厂用机器人来替代工人，换个角度想想，城市这样发展下去，不需要几年，几百万工人失去工作，到那个时候后悔就来不及了。
人工智能第二个近期的威胁，是由加入军队的人工智能带来的。但现在以美国为首的某些发达国家，最起劲的事情就是研发军事用途的人工智能。研发军事用途的人工智能本质上和研发原子弹是一样的，就是一种更有效的杀人手段。为什么埃隆·马斯克等人也号召要制止研发军事用途的人工智能，道理很明显：研发军事用途的人工智能，就是研发更先进的杀人武器，当然不是人类之福。
今天我们只能，而且必须抱着和当年搞“两弹一星”类似的心态，来进行军事用途的人工智能研发。军用人工智能就是今天的“两弹一星”。
比较理想的局面，是各大国坐下来谈判，签署限制或禁止人工智能的国际协议。目前国际上已出现一些这样的倡议，但仅来自某些学者或学术机构，尚未形成国家层面的行动或动议。
中期威胁：人工智能的反叛和失控
我们再来看人工智能中期的威胁——人工智能的失控。这种威胁媒体早有报道，但有一些人工智能的专家出来安慰大家，他们认为人工智能现在还很初级，即使战胜了李世石，不过是下个棋，即使它会作诗、写小说，它还是很低级的，所以不用担心。这种安慰非常荒谬。
我们都知道“养虎遗患”的成语，如果那些养老虎的人跟我们说，老虎还很小，你先让我们养着再说，我们能同意这样的论证吗？你让我们同意养老虎，就得证明老虎不会吃人，或者证明你养的不是老虎。要是老虎养大了，它要吃人了，就来不及了。
《黑客帝国》三部曲这个成语非常适合用来警惕人工智能的失控。各种各样的科幻作品都有提及失控的后果，比如影片《黑客帝国》中，人工智能建立了对人类社会的统治，我们人类就完蛋了。我们为什么要研发出一个统治我们自己的超级物种？
当然，还有一部分专家说，想让我们提供关于人工智能这个“老虎”不吃人的证据，我们有啊，我们有办法让我们的人工智能不吃人，不反叛，变成不吃人的老虎——我们只需要给人工智能设定道德戒律。
围绕在人工智能中设定怎样的道德戒律，用怎样的技术去设定，专家们确实已经想过各种各样的方案了。但是这些方案可行吗？任何一个具体方案，如果仔细琢磨，就会发现都是有问题的。我们先不考虑具体的方案，我们只要考虑一个总体的情形，就足以让我们警惕。简单地说，如果通过为人工智能设置一些道德戒律，就指望它不会学坏，那么请想一想，我们人类到现在为止，能够做到让每一个后代都学好吗？答案是做不到。我们总是有一部分学坏的后代。对这些学坏的后代，难道家长和老师没有向他们反复灌输各种道德戒律吗？况且社会还有各种各样的法律制约，但仍然还有一部分人不可避免地学坏。从这个情形来推想，人工智能就算是你的一个孩子，你能确保他不学坏吗？
更危险的事情是，人工智能会比人类更聪明。现在人类有一部分后代学坏，还没有颠覆我们的社会，那是因为他们毕竟没有变成超人，总体跟我们是一样的。一小部分人学坏，大部分人还是可以制约他们。要是那个学坏的人是超人，他掌握了超级智能后依然学坏，人们将没办法控制它。然而现在人工智能研发追求的是什么境界——不弄出“超人”来，科学家肯罢手吗？
所以，那些盲目乐观，说我们能让人工智能不学坏的人，请先解决怎么确保我们人类自己的后代不学坏吧。如果人类不能在总体上杜绝我们后代的学坏，那对人工智能不学坏的信心从何而来？
在考虑人工智能的中期威胁时，还必须考虑人工智能与互联网结合的可怕前景。主要表现为两点：
1、互联网可以让个体人工智能彻底超越智能的物理极限（比如存储和计算能力）。
2、与互联网结合后，具有学习能力的人工智能，完全有可能以难以想象的速度，瞬间从弱人工智能自我进化到强人工智能乃至超级人工智能，人类将措手不及而完全失控。
另外，鼓吹人工智能的人在安慰公众时，还有一个非常初级甚至可以说是相当低幼的说法：“我们可以拔掉电源”。专业人士在试图打消公众对人工智能的忧虑时，也经常提到这一说法。但实际上他们完全知道，如今人工智能已经与互联网密切结合——事实上，这一点正是许多大企业极力追求的，借用如今高度发达的定制、物流、快递等社会服务，人工智能几乎已经可以摆脱对所有物理伺服机构的依赖。而当人工智能表现为一个网上幽灵时，没有机体和形态，将没有任何“电源”可拔。
人工智能和互联网结合以后，危险成万倍增长。以前对于个体的人工智能，它智能的增长还会受到物理极限的约束，但一旦和互联网结合，这个物理极限的约束就彻底消失了。所以人工智能可以在极快的时间里自我进化。
去年一篇很长的文章在很多圈子里疯传，那篇文章稍微有点危言耸听，但结论我同意。作者想论证这样一种前景，就是说人工智能一旦越过了某个坎之后，自我进化的速度是极快的，快到不是以年月来计算，而可能是以分钟甚至是秒来计算。一瞬间它就可以变成超人。一旦变成超人，当然就失控了。因此说老虎还小的人，不要以为老虎跟现在一样一年长大一点，如果这个老虎一分钟长大一倍，这样的老虎还了得？虽然现在很小，过五分钟就能吃人了。
当然，对于这种事情，我本质上是乐观主义者，虽然我看到了这样危险的前景，我也还是得乐观地生活。只能如此，不能因为觉得末日可能要来临了，就不过好自己的每一天。
另外，对人工智能专家，我想说：你们要知道，在我所预言的危险前景中，你们是最危险的，因为你们就在老虎旁边，老虎最先要吃的，很可能就是你们这些人，所以要特别警惕。
远期威胁：将最终消解人类生存的根本意义
从中期看，人工智能有失控和反叛的问题，但是人工智能的威胁还有更远期的，从最终极的意义来看，人工智能是极度致命的。
阿西莫夫提出了“机器人三定律”，现在在研究机器人的行业里，有的人表示三定律还有意义，但是也有一些专家对这个三定律不屑一顾，如果对三个定律仔细推敲的话，我相信一些人工智能专家肯定会同意下面的说法：这三定律绝对排除了任何对军事用途机器人的研发。因为只要让人工智能去执行对人类个体的伤害，哪怕是去处死死刑犯人，就明显违背了三定律中的第一定律。但是搞军事用途人工智能的人会说，这三定律算什么，那是科幻小说家的胡思乱想，我们哪能拿它当真呢。
阿西莫夫在短篇小说《转圈圈》中首次明确提出“机器人三定律”，这篇小说后来收录在《我，机器人》小说集。很多人不知道的是，这个阿西莫夫还有另一个观点——所有依赖于人工智能的文明都是要灭亡的。
阿西莫夫有一部史诗科幻小说《基地》系列，共11卷，其中对人工智能有一个明确的观点。对于人工智能的终极威胁，他已经不是担忧人工智能学坏或失控，他假定人工智能没学坏，没失控，但是这样的人工智能是会毁灭人类的，因为这样的人工智能将会消解我们人类生存的意义。
试想所有的事情都由人工智能替人类干了，人类活着干嘛？人们很快就会变成一个个寄生虫，人类这个群体就会在智能和体能上急剧衰退，像虫子一样在一个舒适的环境里活着，也许就自愿进入《黑客帝国》描绘的状态中去了：你就是要感觉快活，这个时候乖乖听话的人工智能完全可以为你服务：我把主人放在槽里养着，给他输入虚假的快活信号，他就快活了，这不就好了吗？
从根本上来说，人工智能像我们现在所希望、所想象的那样无所不能，听话，不学坏，这样的人工智能将最终消除我们人类生存的意义。每一个个体都变得没有生活意义的时候，整个群体就是注定要灭亡的。
所以，无论从近期、中期、远期看，人工智能都是极度危险的。无论它们反叛还是乖顺，对人类也都是有害的。因此我完全赞成应该由各大国谈判订立国际条约来严格约束人工智能的研发。这个条款应该比美俄之间用来约束核军备的条款还要更严格，否则是非常危险的。
科学已经告别纯真年代
以前曾经有过科学的纯真年代，那个时候也许可以认为科学是“自然而然”产生的，但是今天科学早就告别了纯真年代，今天科学是跟资本密切结合在一起的。所有的这些活动，包括研发人工智能，背后都有巨大商业利益的驱动。
谈到科学和资本结合在一起，我总要提醒大家重温马克思的名言：资本来到世间，每个毛孔都滴着浓血和肮脏的东西。对于和资本密切结合在一起的科学，我们的看法就应该和以前不同了。
我们以前一直有一个说法：科学没有禁区。这个说法是很多人都习惯的，但是现在对于这个说法，科学界的很多人已经开始有新的认识。比如说曾任北大校长的许智宏院士，前不久就对媒体表示：我们以前一直说科学没有禁区，但现在看来，科学研究仍然有着不可逾越的红线。他是在说生物技术的某些应用时说的，“不可逾越的红线”当然就是禁区了。
如果表述得稍微完备一点，我们可以说，在每一个特定的时期里，科学都应该有它的禁区，这个禁区可以在不同的时期有所改变。比如说某项技术，当人类社会已经准备好了，我们已经有成熟的伦理或者比较完备的法律来规范它的时候，我们也许可以开放这个禁区，说这个事情现在可以做了。但是没准备好的事情，现在把它设为禁区是应该的，这个禁区也应包括科学技术的高低维度，高到一定程度就有可能变成禁区，不应该再继续追求了。
发展科学，在今天，其实各国都是被绑架的。已经领先的怕被别人超越，当然不能停下来；尚未领先的，当然更要追赶。结果谁也不肯停下来或慢下来，谁都不敢停下来或慢下来，因为害怕“落后了就要挨打”。所以只有各大国坐下来谈判，设立条约，不然毫无办法。在这种局面中，只要有一个人开始做不好的事情，比如研发原子弹或军事用途的人工智能，其他人就会被迫跟进，结果大家都会被绑架。
（本文原载于《文汇学人》2016年7月29日刊，澎湃新闻经授权转载。《文汇学人》微信公号：wenhui_xr。）
科技观察丨人工智能威胁人类文明引担忧，AI将引发下一场金融危机
封面新闻记者燕磊当地时间5月17日，路透社/益普索民调显示，大多数美国人认为，人工智能AI技术的迅速发展可能危及人类的未来。民调指出，有超过三分之二的美国人担心AI的负面影响，有61%的人认为它可能威胁文明。人工智能或将威胁人类文明自从OpenAI的ChatGPT聊天机器人成为有史以来用户增长最快的应用程序以来，AI在日常生活中的广泛使用使得其成为公众讨论的重点。ChatGPT也开启了一场AI军备竞赛，微软和谷歌等科技巨头都推出了类似产品相互竞争。国会议员和AI企业也对此表达了担忧。OpenAI的CEO山姆·奥特曼16日在国会作证，表达了对该技术可能被滥用的担忧并要求监管。参加听证会的国会参议员科里·布克说，“没有办法把这个精灵关在瓶子里。在全球范围内，它正在爆炸式增长。”民调发现，预期AI将带来不利后果的美国人人数是不这样预见的3倍，61%的受访者认为AI对人类构成风险，只有22%的人不同意，还有17%的人不确定。在2020年投票给特朗普的选民表达了更高程度的担忧：70%的特朗普选民和60%的拜登选民认为AI可能威胁人类。未来生命研究所的美国政策主任兰登·克莱恩表示，“这表明如此广泛的美国人担心AI的负面影响。”该组织此前曾发出一封公开信，要求暂停6个月的AI研究，特斯拉CEO马斯克联署了这封信。虽然美国人普遍担心AI，但他们最担心的问题是犯罪和经济：77%的人支持增加警察拨款打击犯罪，82%的人担心经济衰退的风险。路透社/益普索在线民调于5月9日至5月15日期间进行，访问了4415名美国成年人，可信度区间为正负2个百分点。多方呼吁美国政府加强监管5月16日，OpenAI公司首席执行官奥特曼首次在国会露面，呼吁政府加强对人工智能领域的监管。他说，如果有公司想开发强大的人工智能系统，该公司应该获得政府的相关许可。OpenAI公司首席执行官奥特曼在参议院作证。奥特曼与IBM首席隐私和信任官克里斯蒂娜·蒙哥马利，以及纽约大学心理学和神经科学荣誉退休教授加里·马库斯一起出席了参议院司法委员会举行的听证会，讨论对人工智能的监督问题。像ChatGPT这样的人工智能系统的快速发展，促使许多顶尖的技术专家和学者呼吁该行业暂停一些开发，并要求政府对此进行干预。但是，业内对于实施什么样的监管还没有达成共识，国会和联邦机构一直在努力弄清楚自己的角色。在作证前夕，奥特曼向大约60名参议员做了一次演讲，赢得了许多人的赞赏，并在之后花了近两个小时回答问题。民主党国会参议员理查德·布卢门撒尔建议，可以要求人工智能模型披露它们训练的信息。奥特曼对这个想法做出了积极的回应。共和党国会参议员约什·霍利指出人们可能会使用人工智能作为信息的来源之后，奥特曼再次表示，他认为政府在监管这项技术方面可以发挥作用。但他也表示，他相信公众将学会适应人工智能制造的虚假信息。此外，还有一些业内人士呼吁政府将人工智能监管完全交给科技公司。对此，马库斯呼吁在美国建立一个内阁级别的组织来监管人工智能。下一场金融危机或由AI引发？据《华尔街日报》5月17日消息，美国证监会主席根斯勒表示，下一次金融危机可能出现企业对人工智能的使用上，他对该技术传播构成的潜在“系统性风险”发出警告。当地时间16日，根斯勒在美国金融业监管局于华盛顿举办的一次会议上说，数据聚合器和人工智能平台可能成为未来金融系统“脆弱性”的主要组成部分。根斯勒表示：“多年后的观察家可能会回过头来说，2027年的危机是因为一切都依赖于一个基础层面，也就是所谓的生成性人工智能层面，而一堆金融科技应用都建立在这个基础之上。”鉴于人工智能有望用更少人工完成更多工作，美国经济各领域的许多企业已经接受人工智能，即便在这种情况下，与根斯勒一样，许多政府官员也对这项技术持怀疑态度。银行和另一些金融机构已经在各种功能中使用人工智能，包括通常涉及评估新客户或检查可疑交易的繁重合规工作。但根斯勒说，尽管有可能提高效率，但这些系统应受到严格审查。他表示：“你不必理解其中的数学，但你得真正理解风险管理是如何管理的。”海量资讯、精准解读，尽在新浪财经APP人工智能发展是否会对人类社会造成危害
原标题：人工智能发展是否会对人类社会造成危害近来，人工智能已成为热词，这次不是因为某部科幻电影，而是因为理论物理学家斯蒂芬·霍金、特斯拉公司首席执行官埃伦·马斯克等一些科学家、企业家及与人工智能领域有关的投资者联名发出的一封公开信。他们在信中警告人们必须更多地注意人工智能的安全性及其社会效益。要警惕其过度发展，并提醒科学家和研发人员关注强人工智能的潜在威胁，因为得到充分发展的人工智能或许预示着人类最终被超越。
斯蒂芬·霍金曾警告“人工智能的全面发展可能意味着人类的终结”；伊隆·马斯克担心人工智能的发展可能是人类生存面临的最大威胁；比尔·盖茨则提醒人们要小心人工智能。由于他们的影响力，人工智能威胁论因此得到广泛传播。而有一个有趣的现象是，提倡人工智能毁灭人类的基本是物理学家，企业家，但最了解人工智能原理的科学家，却几乎没有一位认为人工智能对人类有威胁。
在人工智能的问题上霍金认为，“如果人类继续这样无止境地开发人工智能，那么总有一天，人工智能将拥有自己的发展方式。”而对于这个问题有人有着不同的看法。库兹韦尔表示，他更愿意相信，如果人工智能真正地融入了社会，它将帮助人类解决一些社会问题。但是他也承认，没有人能够保证人工智能一定会有利于人类发展。“我认为，面对潜在的风险，最好的方式就是继续保持民主、包容和自由的价值观。”
展开全文人类对未知事物产生恐惧并不是什么新鲜事，但是，著名的理论物理学家及硅谷企业家和微软创始人对人工智能的担心，则为这种恐惧增添了新的注解。像科幻电影一样，担心机器人会奋起革命似乎有点自欺欺人，重要的是如何合理的进行分析。
如果人工智能只是一种可以代替人类工作的机器，它的出现并不足以让人们恐惧。当机器帮助我们创造世界上大部分财富的时候，困扰人类的充其量不过是一个从未得到解决的财富分配问题，还不足以带来毁灭性的灾难。也就是说，人工智能存在比替代人类工作更深层的威胁。
从历史来看，每一次新生事物的诞生，某些人都会感觉有威胁。现在机器人来了，很多工厂流水线上的工人就感觉要下岗了。历史上从来没有一样新生事物会受到全部人的欢迎，总有一部分人会感受到威胁。问题是怎样面对威胁?人类不能因为有一部分人受到威胁，或者有反对的声音，就不前进了。
任何事物都有两面性，科学也是一把双刃剑。科学新发现、新发明在推动社会向前发展，在对一部分人造成威胁的同时，也创造出很多发展机遇，只要我们掌握新知识、新技术，就会找到广阔的发展空间。如果我们能直面威胁，积极应对，顺势而为，勇于创新，更有可能屹立潮头，成为新时代的骄子。返回搜狐，查看更多
责任编辑：人工智能的三种威胁论
周灵悦上海大学
摘要：随着人工智能的应用越来越广泛，威胁论层出不穷。其中包括生存威胁论、失业威胁论和机器威胁论。具体是指强人工智能对人类的生存威胁，机器自动化可能会造成人们的大规模失业以及自主性增强的智能机器做出的决策存在违反伦理道德和隐私泄露的可能。
关键词：人工智能；威胁论
学术研究和商业化研究快速地推动着机器智能的崛起，人工智能应用正广泛地影响着人类的社会生活，同时，关于威胁论的论调层出不穷。在《人工智能——一种现代方法（第二版）》中，作者总结出了八种潜在威胁。分别是：“人们可能由于自动化而失业；人们可能拥有过多（过少）的闲暇时间；人们可能会失去作为人的独一无二的感觉；人们可能会失去一些个人隐私权；人工智能系统的应用可能会导致责任感的丧失；人工智能的成功可能意味着人类种族的终结”。在人工智能对人类社会造成的影响层面，我们将讨论几种主要的威胁论论证，分别是生存威胁论，失业威胁论和智能机器威胁论。
一、生存威胁论
关于人工智能是否会毁灭人类的问题，最早仅仅出现在科幻作品中，例如电影《终结者》（TheTerminator）（1984）和《黑客帝国》（TheMatrix）（1999）。
汉斯·莫拉维克（HansMoravec）认为人工智能在50年内与会与人类的智能想匹配，并超越之。他在《机器人：由机器迈向超越人类心智之路》（Robot:MereMachinetoTranscendentMind）中写道：“它们将相当迅速地取代我们的存在，我并不因为这后一种可能性而像许多人一样惊慌失措，因为我认为这些未来的机器就是我们的后裔，是依照我们的想象和喜好建造的‘精神子孙’，是更强有力形态的我们自己。如同目前世代的生物形态子孙一样，它们将承载着人性对长远未来的最美好希望。这值得我们为它们提供每个有利条件，并且在我们无法再做出贡献时从容引退。”
各领域著名的科学家、企业家都表示了对人工智能超越甚至代替人类的担忧，如斯蒂芬·霍金、埃隆·马斯克、比尔·盖茨。
2014年，霍金在利弗休姆未来智能研究中心的成立仪式上发表演讲，他指出成功创造人工智能将成为人类文明史上最重要的事件，倘若我们不规避风险，这将成为我们最后的事件。尽管人工智能的发展会带来种种好处，例如消除疾病和贫困，改变人类生活的方方面面，然而自动化武器的智能化也会破坏人类文明的发展，对我们的经济造成巨大破坏。同年，他与另外几名科学家（计算机科学家斯图亚特·罗素、诺贝尔物理学奖得主弗兰克·韦尔切克等）在英国《独立报》上共同署名发表公开信，对人工智能崛起的后果发出警告。信中表示，人们目前对待人工智能的潜在危险“不够认真”，“短期来看，人工智能的影响在于谁控制它，而长期看来，这种影响取决于我们能否控制它”。
牛津大学哲学家尼克·博斯特罗姆（NickBostrom）提出了“回形针最多化”（paperclipmaximiser）的思想实验。该实现假设人类给人工智能一个清晰的目标，比如“在全世界尽可能多生产回形针”，如果AI足够聪明，它可能会制造出超级工厂，AI在确定回形针何时达到最大量时，可能会对人类造成伤害，因为人类可能会关掉计算机以至于超级工厂无法生产或者为了得到尽可能多的资源，人体当中的铁元素也会成为计算机的目标。
特斯拉创始人埃隆·马斯克多次发表对强人工智能的“威胁论”，他认为人工智能对于人类来说是一场灾难，并有可能成为人类文明的最大威胁，短期内直接表现为智能自动化对人类工作的取代和剥夺，而在未来人工智能成为地球的独裁者，人类需要与机器结合成为“半机械人”才不至于在AI时代被淘汰。比尔·盖茨对未来人工智能的担忧立场更为中立一些。他认为在未来几十年人工智能会成为人类的心头大患，然而，如果人类可以很好地驾驭技术，人工智能也会反过来造福人类。
关于人工智能威胁的讨论离不开“奇点理论”，其依据是摩尔定律。关于“奇点”的讨论并非首先来自于科学，而是来自于曾获得雨果奖的科幻小说家弗诺·文奇，他在自己的小说《为和平而战》和《实时放逐》中，首先描绘了虚构的未来世界，他称之为“技术奇点”。那时，人类已经依靠指数增长的超级科技进入了另一种形式的存在。在1993年的一篇文章中，他更清晰地表达了这种思想，指出超人类人工智能的诞生将会成为历史上“人类时代的结束”。雷·库兹维尔接受并发展了文奇的构想，他论断：科技正以史无前例的速度发展，2045年，计算机将能够赶超人类智能的各个方面，下一个阶段便是人类与机器的联合，人类智能会逐渐非生物化，这种融合便是奇点的本质。
二、失业威胁论
“机器问题”的产生是伴随着工业革命和自动化的发展而兴起的。早在两个世纪以前工业革命时代的英国，“机器问题”就曾引发了人们的担忧和激烈的争论。有些人担忧机器只是有选择地让少数人受益，它会抢走所有人的工作并最终彻底颠覆社会。如今，“机器问题”又卷土重来，只不过它伪装成了另一副面孔。科学家、经济学家和哲学家纷纷在探讨人工智能技术带来的深刻潜在影响。人工智能技术突飞猛进，机器人能够执行曾经只有人才能胜任的各种任务。很多人担心机器会让越来越多的人下岗，引发不平等问题和社会动荡。
大量的研究机构与高校对此进行了相关数据的调查，著名媒体也对此发表了看法。
牛津大学2013年的一项研究表明，在未来20年里，美国47%的工作都有转向自动化并被机器所取代的风险，这使得许多工人感到更加担忧。2014年，皮尤研究中心发布报告《人工智能，机器人学和工作的未来》，称52%的参与专家认为，到2015年由人类完成的许多工作将会被机器所取代。2015年下半年，英国央行首席经济学家安迪·霍尔丹(AndyHaldane)估计，英国大约有1500万个工作岗位（大约为总量的一半）可能受到机器的威胁，而欧洲主要国家多达50%的工作岗位估计面临被机器替换的风险。《未来简史》和《人类简史》的作者、以色列著名未来学家尤瓦尔·赫拉利（YuvalNoahHarari）认为，智能机器的普及必然会导致人类社会生活的许多改变。首先是工作方面，可以把人类从简单枯燥的工作中解放出来。但另一方面必将造就更多的“无用阶级”。2016年10月，AINOW发布的专题报告TheAINowReport指出，人工智能为经济价值的生产带来了新的方式，也对价值分配产生了新的影响。在某种程度上，人工智能的价值分配会使一部分群体受益，从而延续甚至加剧现有的财富分配差距。
人工智能对“最安全”的职业的危险应征了汉斯·莫拉维克和布鲁克斯在1980年提出莫拉维克悖论（Moravec’sparadox），该悖论指出人类所独有的高阶智慧能力只需要非常少的计算能力，例如推理，然而一岁小孩所具有认知和直觉却需要极大的运算能力，语言学家和认知科学家史蒂芬·平克在《语言本能》也提及，人工智能的研究发现的最重要课题是：“困难的问题易解，而简单的问题是难解的”。如四岁小孩具有的本能—辨识人脸，举起铅笔，在房间内走动，回答问题—事实上是工程领域内目前为止最难解的问题。例如伯克利研究团队装配的类人机器人，这样的机器人被设置来识别单块和成堆毛巾在哪里，机器人要花费大部分时间观察毛巾在哪里，以及如何才能抓住它。它们由此得出，像厨师，园艺师，修理工，木工，牙医和家庭健康护理员在短时间内是不会被机器所取代的。但这些职业也可能在未来面临激烈竞争，因为机器的自动化对具有技能的人员会造成威胁。
三、机器威胁论
机器人伤害人的案例在历史上早有发生。世界上首例机器人伤人事件发生在1978年日本广岛的一家工厂，切割机器人在工作时发生异常，误将一名值班工人当作钢板进行操作。随后，1979年一位年仅25岁的美国福特工厂装配线工人RobertWilliams，在密歇根州的福特铸造厂被工业机器人手臂击中身亡。2016年11月，中国深圳高交会上，名叫“小胖”的机器人突发故障，在行进中碰撞到人和玻璃，一度引起网友恐慌，认为是“首例机器人‘造反’事件”。随着机器人在生产生活中的应用，类似伤人事件出现的概率会显著上升，智能机器对人类造成的威胁显而易见。
如今，智能机器的运用场景越来越广泛，机器威胁不仅仅停留在工业机器体型庞大和工人操作不慎这些外在方面，还在于机器自主化程度地提升所做出的不符伦理道德的决策。
智能机器最先应用的场景是交通、医疗、金融、娱乐，其中涉及到图像识别、语音识别等多项技术，如自动驾驶、智能机器人、智能医疗、智能投顾、智能家居等。在一些场合，例如医疗、法律咨询，机器人开始帮助人类进行决策。“人工智能技术助力智能机器加速到来，机器逐步从被动工具向能动者转变”，“在不远的将来，交通运输、医疗、看护、工业和服务业等诸多领域的各式各样的智能机器（IntelligentMachine）或者智能机器人（SmartRobot）将成为人类社会中司空见惯的事物”。
当自主程度逐渐提高的智能机器的应用普遍化之后，遵循理性规则的机器人无法具有与人类相同的价值观，经由“算法”黑箱做出的决策会偏离人类预期。区别与传统的编程式机器，智能机器具有高度自主性。取代程序员每一步具体指令的是机器学习中的学习算法（LearningAlgorithm），学习算法从被给予的训练数据中推论生成新的规则。因此，智能机器的新生规则可能会愈来愈偏离人们旧有的传统规则，这会使人们担心智能机器自主习得的规则、行为产生偏离，甚至对人们造成伤害。譬如扫地机器人机械化地打扫屋子，不理解人类价值观的机器人为了使得屋中一尘不染，清除掉主人不小心掉落在地上的现金或衣物。
类比于古希腊神话故事——迈达斯国王点石成金。迈达斯国王真实地存在于古希腊神话故事，大约生活在2700年以前。国王在成年后解救酒神迪奥索斯（Dionysus）的导师后得到了梦寐以求的点石成金法宝。然而，该法宝却不明白国王的真正意图，因为国王碰到的所有东西都变成了黄金，甚至包括食物，国王的女儿。
参考文献：
[1]腾讯研究院等著.人工智能[M].北京：中国人民大学出版社,2017.
[2]StuartRussell,PeterNorvig.人工智能——一种现代方法(第二版)[M].姜哲,金奕江,张敏,杨磊等译,北京：人民邮电出版社，2004.
[3]霍金，让人工智能造福人类及其赖以生存的家园[EB/OL],http://www.sohu.com/a/137173188_609518.
[4]Carl,BenediktFrey,aMichael,A,Osborneb.Thefutureofemployment:Howsusceptiblearejobstocomputerisation?[J].TechnologicalForecastingandSocialChange,2017,114(1):254-280。
[5]LeeRainie,JannaAnderson:TheFutureofJobsandJobsTraining[EB/OL],http://www.pewinternet.org/2017/05/03/the-future-of-jobs-and-jobs-training/。
[6]史蒂芬·平克.语言本能[M].浙江：浙江人民出版社,2015.