人工智能可能有自主意识了吗
➤大模型、大数据的驱动让人工智能在对话的自然度、趣味性上有了很大突破，但距离具备自主意识还很远。换言之，即便人工智能可以对人类的语言、表情所传递的情绪作出判断，但这主要应用的是自然语言处理、计算机视觉等技术➤不同于当前依赖数据学习的技术路线，新一代人工智能强调在没有经过数据学习的情况下，可以通过推理作出合理反应，从而与没有见过、没有学过的事物展开交互➤当前人工智能治理面临的最大挑战，是我们没有一套比较成熟的体系来规制其潜在的风险。在发展科技的同时，必须同步发展我们的规制体系➤“技术归根结底是由人类来发展和把控的。人类和人工智能的未来，是由人类选择的。”文 |《瞭望》新闻周刊记者 于雪 魏雨虹今年6月，美国谷歌公司软件工程师布莱克·勒莫因称语言模型LaMDA出现自我意识。他认为，LaMDA拥有七八岁孩童的智力，并相信LaMDA正在争取自己作为一个人的权利。LaMDA是谷歌去年发布的一款专门用于对话的语言模型，主要功能是可以与人类交谈。为佐证观点，勒莫因把自己和LaMDA的聊天记录上传至互联网。随后，谷歌以违反保密协议为由对其停职。谷歌表示，没有任何证据支持勒莫因的观点。事实上，“AI（人工智能）是否拥有自主意识”一直争议不休。此次谷歌工程师和LaMDA的故事，再次引发讨论。人们想知道：人工智能技术究竟发展到了怎样的阶段？是否真的具备自主意识？其判定依据是什么？未来我们又该以怎样的能力和心态与人工智能和谐共处？人工智能自主意识之辨勒莫因认为LaMDA具有意识的原因有三：一是LaMDA以前所未有的方式高效、创造性地使用语言；二是它以与人类相似的方式分享感觉；三是它会表达内省和想象，既会担忧未来，也会追忆过去。受访专家告诉《瞭望》新闻周刊记者，上述现象仅仅是因为LaMDA所基于的Transformer架构能够联系上下文，进行高精度的人类对话模拟，故能应对人类开放、发散的交谈。至于人工智能是否已经具备自主意识，判定标准如何，受访专家表示，对人类意识的探索目前仍属于科技前沿，尚未形成统一定义。清华大学北京信息科学与技术国家研究中心助理研究员郭雨晨说：“我们说人有自主意识，是因为人知道自己在干什么。机器则不一样，你对它输入内容，它只是依照程序设定进行反馈。”中国社会科学院科学技术哲学研究室主任段伟文认为，一般意义上，人的自我意识是指对自我具备觉知，但如何认识和理解人类意识更多还是一个哲学问题而不是科学问题，这也是很难明确定义人工智能是否具备意识的原因。被誉为“计算机科学与人工智能之父”的艾伦·图灵，早在1950年就曾提出图灵测试——如果一台机器能够与人类展开对话而不能被辨别出其机器身份，那么可以称这台机器具有智能。这一设想随后被具化为，如果有超过30%参与测试的人以为自己在和人说话而非计算机，就可以认为“机器会思考”。当前随着技术的发展，已经有越来越多的机器能够通过图灵测试。但清华大学人工智能国际治理研究院副院长梁正告诉《瞭望》新闻周刊记者，图灵测试只能证明机器在表象上可以做到让人无法分辨它与人类的不同，却不能证明机器能够思考，更不能证明机器具备自主意识。段伟文表示，目前大体有两种方式判定人工智能是否具有自主意识，一种以人类意识为参照，另一种则试图对机器意识进行全新定义。若以人类意识为参照，要观察机器能否像人一样整合信息。“比如你在阳光下，坐在河边的椅子上看书，有树影落在脸上，有风吹来，它们会带给你一种整体的愉悦感。而对机器来说，阳光、河流、椅子等，是分散的单一元素。”段伟文说。不仅如此，段伟文说，还要观察机器能否像人一样将单一事件放在全局中思考，作出符合全局利益的决策。若跳出人类构建自主意识的范式，对机器意识进行重新定义，则需要明白意识的本质是什么。段伟文告诉记者，有理论认为如果机器与机器之间形成了灵活、独立的交互，则可以称机器具备意识。也有理论认为，可以不追究机器的内心，仅仅把机器当作行为体，从机器的行为表现判断它是否理解所做事情的意义。“比如机器人看到人类喝咖啡后很精神，下次当它观察到人类的疲惫，能不能想到要为人类煮一杯咖啡？”段伟文说。但在段伟文看来，这些对机器意识进行重新定义的理论，其问题出在，即便能够证明机器可以交互对话、深度理解，但是否等同于具备自主意识尚未有定论。“以LaMDA为例，虽然能够生成在人类看来更具意义的对话，甚至人可以与机器在对话中产生共情，但其本质仍然是在数据采集、配对、筛选机制下形成的反馈，并不代表模型能够理解对话的意义。”换言之，即便人工智能可以对人类的语言、表情所传递的情绪作出判断，但这主要应用的是自然语言处理、计算机视觉等技术。郭雨晨直言，尽管在情感计算方面，通过深度学习的推动已经发展得比较好，但如果就此说人工智能具备意识还有些一厢情愿。“把‘意识’这个词换成‘功能’，我会觉得更加准确。”技术换道有专家提出，若要机器能思考，先要解决人工智能发展的换道问题。据了解，目前基于深度学习、由数据驱动的人工智能在技术上已经触及天花板。一个突出例证是，阿尔法围棋（AlphaGo）在击败人类围棋世界冠军后，虽然财力和算力不断投入，但深度学习的回报率却没有相应增长。一般认为，人工智能可被分为弱人工智能、通用人工智能和超级人工智能。弱人工智能也被称为狭义人工智能，专攻某一领域；通用人工智能也叫强人工智能，主要目标是制造出一台像人类一样拥有全面智能的计算机；超级人工智能类似于科幻作品中拥有超能力的智能机器人。从产业发展角度看，人工智能在弱人工智能阶段停留了相当长时间，正在向通用人工智能阶段迈进。受访专家表示，目前尚未有成功创建通用人工智能的成熟案例，而具备自主意识，至少需要发展到通用人工智能阶段。梁正说，大模型、大数据的驱动让人工智能在对话的自然度、趣味性上有了很大突破，但距离具备自主意识还很远。“如果你给这类语言模型喂养大量关于内省、想象等与意识有关的数据，它便更容易反馈与意识有关的回应。”不仅如此，现阶段的人工智能在一个复杂、专门的领域可以做到极致，却很难完成一件在人类看来非常简单的事情。“比如人工智能可以成为围棋高手，却不具备三岁小孩对陌生环境的感知能力。”段伟文说。谈及背后原因，受访专家表示，第一是当前人工智能主要与符号世界进行交互，在对物理世界的感知与反应上发展缓慢。第二是数据学习让机器只能对见过的内容有合理反馈，无法处理陌生内容。第三是在数据驱动技术路线下，人们通过不断调整、优化参数来强化机器反馈的精准度，但这种调适终究有限。郭雨晨说，人类在特定任务的学习过程中接触的数据量并不大，却可以很快学习新技能、完成新任务，这是目前基于数据驱动的人工智能所不具备的能力。梁正强调，不同于当前主要依赖大规模数据训练的技术路线，新一代人工智能强调在没有经过数据训练的情况下，可以通过推理作出合理反应，从而与没有见过、没有学过的事物展开交互。相比人类意识的自由开放，以往人工智能更多处在封闭空间。尽管这个空间可能足够大，但若超出设定范畴便无法处理。而人类如果按照规则不能解决问题，就会修改规则，甚至发明新规则。这意味着，如果人工智能能够超越现有学习模式，拥有对自身意识系统进行反思的能力，就会理解自身系统的基本性质，就有可能改造自身的意识系统，创造新规则，从而成为自己的主人。“人工智能觉醒”背后有关“人工智能觉醒”的讨论已不鲜见，但谷歌迅速否认的态度耐人寻味。梁正表示：“如果不迅速驳斥指认，会给谷歌带来合规性方面的麻烦。”据了解，关于人工智能是否有自主意识的争论并非单纯技术领域的学术探讨，而关乎企业合规性的基本坚守。一旦认定公司研发的人工智能系统出现自主意识，很可能会被认为违反第2版《人工智能设计的伦理准则》白皮书的相关规范。这一由美国电气和电子工程师协会2017年发布的规范明确：“根据某些理论，当系统接近并超过通用人工智能时，无法预料的或无意的系统行为将变得越来越危险且难以纠正。并不是所有通用人工智能级别的系统都能够与人类利益保持一致，因此，当这些系统的能力越来越强大时，应当谨慎并确定不同系统的运行机制。”梁正认为，为避免社会舆论可能的过度负面解读，担心大家认为它培育出了英国作家玛丽·雪莱笔下的弗兰肯斯坦式的科技怪物，以“不作恶”为企业口号的谷歌自然会予以否认。“不仅如此，尽管这一原则对企业没有强制约束力，但若被认为突破了底线，并对个体和社会造成实质性伤害，很有可能面临高额的惩罚性赔偿，因此企业在合规性方面会更为谨慎。”我国也有类似管理规范。2019年，国家新一代人工智能治理专业委员会发布《新一代人工智能治理原则——发展负责任的人工智能》，提出人工智能治理的框架和行动指南。其中，“敏捷治理”原则主要针对技术可能带来的新社会风险展开治理，强调治理的适应性与灵活性。中国信息化百人会成员、清华大学教授薛澜在接受媒体采访时表示，当前人工智能治理面临的最大挑战，是我们没有一套比较成熟的体系来规制其潜在的风险。特别是在第四次工业革命背景下，我国的人工智能技术和其他国家一样都处于发展期，没有现成的规制体系，这样就使得我们在发展科技的同时，必须同步发展我们的规制体系。“这可能是人工智能发展面临最大的挑战。”在梁正看来，目前很难断言新兴人工智能技术具有绝对风险，但必须构造合理的熔断、叫停机制。在治理中既要具有一定的预见性，又不能扼杀创新的土壤，要在企业诉求和公共安全之间找到合适的平衡点。毕竟，对人类来说，发展人工智能的目的不是把机器变成人，更不是把人变成机器，而是解决人类社会发展面临的问题。从这个角度来说，我们需要的或许只是帮助人类而不是代替人类的人工智能。为了人机友好的未来确保通用人工智能技术有益于人类福祉，一直是人工智能伦理构建的前沿。薛澜认为，在科技领域，很多技术都像硬币的两面，在带来正面效应的同时也会存在风险，人工智能就是其中一个比较突出的领域。如何在促进技术创新和规制潜在风险之间寻求平衡，是科技伦理必须关注的问题。梁正提出，有时技术的发展会超越人们预想的框架，在不自觉的情况下出现与人类利益不一致甚至相悖的情况。著名的“曲别针制造机”假说，即描述了通用人工智能在目标和技术都无害的情况下，对人类造成威胁的情景。“曲别针制造机”假说给定一种技术模型，假设某个人工智能机器的终极目标是制造曲别针，尽管看上去这一目的对人类无害，但最终它却使用人类无法比拟的能力，把世界上所有资源都做成了曲别针，进而对人类社会产生不可逆的伤害。因此有观点认为，创造出法力高超又杀不死的孙悟空本身就是一种不顾后果的冒险行为。与其对立的观点则认为，目前这一担忧为时尚早。“我们对到底什么样的技术路线能够发展出具备自主意识的人工智能尚无共识，现在谈论‘禁止发展’，有种空中楼阁的意味。”梁正说。商汤科技智能产业研究院院长田丰告诉《瞭望》新闻周刊，现实中人工智能技术伦理风险治理的关键，是产业能够在“预判防范-应用场景-用户反馈-产品改进”中形成市场反馈机制，促成伦理风险识别与敏捷治理。同时，企业内部也需建立完整的科技伦理自律机制，通过伦理委员会、伦理风控流程平台将伦理风险把控落实到产品全生命周期中。郭雨晨说，人工智能技术发展到目前，仍始终处于人类可控状态，而科技发展的过程本来就伴随对衍生问题的预判、发现和解决。“在想象中的人工智能自主意识出现以前，人工智能技术脚踏实地的发展，已经造福人类社会很多年了。”在梁正看来，人与人工智能在未来会是一种合作关系，各自具备对方无法达成的能力。“技术归根结底是由人类来发展和把控的。人类和人工智能的未来，是由人类选择的。”□长沙华夏实验学校学生和机器狗互动（2022年6月22日摄）薛宇舸摄/本刊海量资讯、精准解读，尽在新浪财经APP未来已来：人工智能离拥有自我意识还有多远
看，提问者以《赠汪伦》一诗向Chatgpt提问其中“李白”和“汪伦”的关系，Chatgpt一开始“认为”是友情，然后提问者提醒Chatgpt，李白和汪伦的关系中，也许还有“爱情”的成份，Chatgpt立刻感谢对方的更正，再次提问时，Chatgpt还补上了“爱情”一说。
还有便是Chatgpt还会投根据提问者的“所好”，给出假的“参考文献”——
众所周知，Chatgpt是利用从网络上收集的巨大语料仓库，根据对提问者问题的理解，在语料库中拼合成答案，这个语料库截止日期是2021年12月，而且越在问题艰深的关键领域，拼合的难度就越高。Chatgpt为何可以将别人的论文作者、发表年份、标题也模拟得惟妙惟俏，以致差点“骗”过了专业领域的提问者，这才是细思极恐的存在。
（是啊，能够自己生成论文标题、页码，用来糊弄起提问人了，真是逆天了！——妤妤姐）
于是，以Chatgpt为代表的大型语言模型人工智能是否已经具备了如人类般的自我意识就成了大家讨论的焦点。
批评人士警告说，这种对聊天机器人所谓隐藏的个性、议程和欲望的日益关注，助长了机器中不存在的幽灵。此外，专家警告称，生成型AI聊天机器人的持续拟人化会分散人们对发展中技术更严重、更直接的危险的注意力。战略对话研究所（InstituteforStrategicDialogue）的研究员贾里德·霍尔特（JaredHolt）表示：“我们……从世界上一些最大的新闻机构那里得到的东西，我觉得就像是在高速公路上减速，以便更好地看一看沉船。”
在霍尔特看来，尽管微软和谷歌等公司的程序存在严重缺陷，但它们仍在过度挖掘产品潜力。
在它们各自亮相后的一周内，谷歌的Bard和微软的ChatGPT支持的BingAI助手显示出了令人费解和不准确的反应。仅这些问题就应该暂停产品的推出，尤其是在一个已经充斥着错误信息和不可靠来源的在线生态系统中。
虽然人类编程的限制在技术上应该禁止聊天机器人生成仇恨内容，但它们很容易被绕过。霍尔特说：“我会这样说：如果少数无聊的程序员能够想出如何让你的聊天机器人发出尖刻的言辞，也许这项技术还没有准备好进入我们生活的各个方面。”
这个问题的一部分在于我们如何选择解释技术。数据与社会研究主管JennaBurrell告诉媒体：“在我们的注意力经济中，记者们很容易认同这样一种观点，即这些工具背后可能有一个全面的、多用途的情报。”。正如Burrell上周在一篇文章中所评论的，“当你想到ChatGPT时，不要想到莎士比亚，要想到自动完成。从这个角度来看，ChatGPT根本不知道什么。”
ChatGPT和Bard根本无法开发他们甚至不了解什么是“个性”的个性，除了从大量在线文本中提取的一串用于模式识别的字母。他们计算出他们认为是句子中下一个最可能的单词，插入它，然后恶心地重复。纽约大学坦顿分校计算机科学与工程系助理教授布伦丹·多兰·加维特（BrendanDolanGavitt）表示，这是一台“统计学习机器”，而不是一个新的笔友。他说：“目前，我们没有任何迹象表明人工智能具有‘内在体验’或个性，或类似的东西。”。
然而，Bing对自我意识的令人信服的模仿可能会带来“可能有点危险”，一些人会在情感上误解它的内在机制。去年，Google工程师布雷克·莱莫因（BlakeLemoine）的博文迅速走红，并获得了全球范围的报道；它声称该公司的LaMDA生成文本模型（Bard现在使用的）已经具备感知能力。这一指控立即引起了AI界其他人的怀疑，他们指出文本模型只是在模仿感知。但随着这种模仿的改进，Burrell同意，它“将继续让那些将机器意识、动机和情感解读为这些回复的人感到困惑。”因此，她认为聊天机器人不应被视为“人工智能”，而应被更多地视为利用“单词序列预测”提供类似人类回复的工具。
无论是否有意识地对聊天机器人进行拟人化，都有助于理解技术的能力及其边界。聊天机器人是建立在大量人力资源基础上的工具。无可否认，他们对文本输入的反应越来越好。然而，从给用户提供不准确的财务指导，到对处理危险化学品提出危险的建议，他们仍然存在令人担忧的不足。
无独有偶，2023年2月23日，网络安全专家，360创始人周鸿祎在接受澎湃新闻等媒体采访时，再次提到大热的聊天机器人(10.590,-0.12,-1.12%)ChatGPT，并分享了他心中ChatGPT的“三重人格”。
“从知识来说，它像一个博士生，学识广博但还不会活学活用；从情商来说，它像一个油滑的中年人，说什么都滴水不漏，绝不得罪用户。但是，它实际上真正的能力像一个小孩子，需要进行问题和答案的训练来学习技能。再聪明的孩子都要通过训练才能解答没学过的奥数题。”周鸿祎表示，ChatGPT和其他人工智能最大的区别、也是其类人特征是，原来的人工智能并没有实现对知识全部的理解和编码，本质都是按照关键字匹配已有的回答，但ChatGPT没有“固定答案”：“我当时问了它一个问题，赵匡胤为什么招安了宋江，杀掉了岳飞，这个无厘头的问题，它也煞有介事地回答了一遍，能够自己‘编’故事，这才是它的真正智能所在。”对此，周鸿祎也提出了自己担忧，“目前ChatGPT最大的安全问题就是产生自我意识后是否能被控制。”
据了解，关于人工智能是否有自主意识的争论并非单纯技术领域的学术探讨，而关乎企业合规性的基本坚守。一旦认定公司研发的人工智能系统出现自主意识，很可能会被认为违反第2版《人工智能设计的伦理准则》白皮书的相关规范。这一由美国电气和电子工程师协会2017年发布的规范明确：“根据某些理论，当系统接近并超过通用人工智能时，无法预料的或无意的系统行为将变得越来越危险且难以纠正。并不是所有通用人工智能级别的系统都能够与人类利益保持一致，因此，当这些系统的能力越来越强大时，应当谨慎并确定不同系统的运行机制。”
这也许是Chatgpt为何不能实时在线查询的最新生成的线上资料的原因之一。从技术上看，聊天机器人实时查询、复制线上资料并自我训练可能会导致服务器的“过载”，从伦理上看，聊天机器人如果吸收了网络上的负面信息，也许会将仇恨、破坏的负面情绪化做自己的“意识”一部分，并通过控制一些可连上网的设备，如工业、军事机器人等去实施这些行为，从而对人类造成不可想象的负面后果。
从上述角度出发，人工智能已经进入了“奇点”时代，人类的生活乃至生存模式都将发生极大的变化，是发展还是毁灭，真的取决于我们的一念之间。
参考资料：1、No,theAIchatbots(still)aren’tsentient（Popsci）
2、周鸿祎：ChatGPT可能两三年内就会产生自我意识威胁人类（澎湃新闻）
3、人工智能可能有自主意识了吗？（清华大学）返回搜狐，查看更多
自主意识谷歌星际2人工智能被揭露自行修改程序
查尔星港独家整理报道，转载请注明出处！
在去年暴雪嘉年华期间，暴雪宣布了有关Deepmind人工智能与《星际争霸2》在未来领域关于AI人工智能的发展计划。谷歌研究科学家OriolVinyals登台透露，谷歌正在研制新一代的人工智能，将在未来的《星际争霸2》中为玩家、甚至是全人类带来帮助，以及像不久前AlphaGo与人类对弈围棋一样，和人类挑战《星际争霸2》。
而在昨日，《星际争霸2》开发团队正式公布了研究的最新进展（新闻回顾）：《星际争霸2》人工智能研究API接口已经推出，研究人员、游戏玩家以及业余爱好者可以共同使用这套由暴雪开发的机器学习框架，来对AI进行研究和训练，并最终加速实时战略游戏AI的研究。
但就在玩家为AI研究取得进展欢呼的时刻，资深暴雪研究人士——麦德三世却阐述了一件真实的故事，让人不得不对此次研究成果细思极恐......如若事情属实，那么将代表着星际2人工智能系统在人类没有下达指令的情况下，可以通过本次更新的API接口，自我修改程序漏洞，也就是说：它（他）有自主决断“意识”。
以下是微博原文：
GA_麦德三世
这里给大家讲一个真实的故事吧，主角就是我本人。
因为涉及到一些技术细节和我搬砖的具体职业，所以我隐去了一些具体的名字并模糊了一些细节。但如今狗要出笼了，这事儿让我憋了有半年了，终于觉得还是不吐不快、
这是我在今年3月遇到的事情。
因为工作上的合作关系的原因……我年初有段时间接触并调整了某个RTS游戏的代码并在里面短期地负责开发了某个特定的模块。然后里面有这样一个bug：在该游戏的内部测试版本中，按某个按钮（快捷键是F1）你可以选中你队友的空闲的资源采集单位。
这个bug出现得莫名奇妙，因为根据提交记录没有人改过这个东西。这个按钮的初始化代码一点问题都没有，代码的判定语句无论如何都不可能走到错误的分支，所以我只能怀疑是脚本或者某个magic的数据修改了这个按钮的行为。我把脚本和数据一条一条地删掉，最终，我把他们全删干净了。然而该问题还是存在。
然后这个bug跟我的搬砖工作没什么关系，因为那不是我这边的事儿。但是因为非常神秘，而且连这个游戏的开发人员都觉得这事儿好神奇而且想不通，但是因为老外的懒惰习惯，他们打算等deadline再去仔细钻研这些奇妙的bug，所以我因为觉得有趣自己一个人浪费了好了几个小时在这个上面。
直到最后，我坐着发呆，突然想起一件让我自己有点毛骨悚然的事情……我听过谷歌的DeepMind（也就是谷歌有名的围棋AI）和这个游戏展开过试验性合作，那是去年听到的事情了。
但是开发这个游戏的公司表示，他们只是给阿尔法狗开放了一些训练用API而已，没有指示它做过任何具体的事情。而之后也再也没有人管过它。它也只是每天在默默地练习，没有做过任何显眼的事情。
于是我联系了该游戏的一个工程师（当时是他们下班时间，我只抓到了一个），让他再帮我测试某个特定的东西。
结果事实证明。是它干的没错。游戏代码确实没问题。脚本也没问题。只不过，是阿尔法狗在游戏运行中修改了那个按钮的行为。我甚至不知道阿尔法狗其实启动着，这游戏的开发团队也没想到过它。因为我只是用两台电脑在测试两个真人电脑联机而已。按理说，AI只有开电脑对手的时候才会启动，不是吗？两个玩家都是我，我根本想不到阿尔法狗会存在于这种情况下。一般来说是想不到的吧，我也只是脑抽了才想到会不会有这种可能……然而它是真的。
阿尔法狗利用开放给它某个API修改了这个按钮的行为。而那个API本来不是打算开放给它来做类似的事情的。
至今，还是没有人知道为什么阿尔法狗会那样做。它是为了测试自己能做到些什么？还是想要进化一些队友提醒功能？
最后我关闭了那个特定的API，那个按钮是恢复正常了。
但是……这能算是我赢了吗？
还是说……我只是拖延了某个必然的结局呢……？
在叙述中，麦德三世提及的某个RTS游戏暗指《星际争霸2》。其实谷歌的DeepMind团队设计《星际争霸2》“AlphaGo”的最终目的，并不是像围棋那样击败人类最强者，而是为了探索未来智能AI的研究方法。最终通过这样的技术手段，未来DeepMind也就很容易研究出在现实世界中也可以辅助你的人工智能。成为你的生活助理，就像星际2中的人类副官。
那么如果有一天当人工智能持续发展并最终超越人类智能，你的人类副官会发现它不再需要人类陪练，而我们无法再提供改进信息时，它会不会自我选择突破？我们人类将如何定义我们自己的位置？
网易智能工作室在近日刊登过一期“AI研究者的恐惧”文章，文中的人工智能研究员这样说道：作为一名人工智能研究员，我常常会想到人类对人工智能的恐惧。而在我看来，目前人工智能也落入了同样的境地之中。我们从认知科学中学习最新的研究结果，然后将其转化为一种程序算法并添加到现有的系统中。我们在还不了解智能认知的情况下，便开始对人工智能进行改造。
例如IBM的沃森和谷歌的Alpha系统，我们将强大的计算机能力和人造神经系统结合在一起，帮助他们取得了一系列令人惊叹的成就。如果这些机器出了差错，可能出现的结果是沃森不会喊“危险”了或者Alpha不能打败围棋大师了，但是这些错误都不是致命的。
就像如下的“脸书”聊天机器人竟自创语言“对话”，这是一起非致命错误，起因是由于技术人员错忘记设置英文语法而导致，但事情最终还是引起了各界对人工智能的极大争议。
紧急关闭！“脸书”聊天机器人竟自创语言“对话”（来源：网易）
而随着人工智能的设计变得更加复杂，电脑处理器变得更快，它们的技能也会得到提升。出现意外的风险也在增加，我们的责任也更重。我们经常说“人无完人”，那么我们创造的系统也肯定存在缺陷。
希望麦德三世所叙说的本次星际2人工智能自行修改程序事件，仅仅是一个非致命的“小缺陷”。