人工智能会产生自我意识吗
全球技术地图
创新丨前沿丨科普丨资讯
科技与意识有何关联？
目前来看，人工智能技术已经在许多领域（比如自动驾驶）取得了长足的进步，但是相比于人工智能技术的真正潜力，这些进步还只是九牛一毛。也许在未来的重大技术突破之后，人工智能将可以意识到自己的存在，并且能够感知周遭的环境并且根据外界情况实时做出反应。未来，人们可以将人工智能送入太空，或者派往战场，让它们代替人类来执行危险的任务。除了给人类开车以外，人工智能还可以洗衣做饭、打扫卫生。而且，它们还可以在无人监督的情况下独立自主地完成这些工作。
将来，某种极其先进的机器或许能够代替人类完成一切工作。这固然可以将人类从许多单调乏味的差事中解放出来，但也有可能使整个社会的基础发生动摇——一个没有工作、只有玩乐的社会也许会使作家臆想中的“反乌托邦”成为现实。
此外，具有自我意识的机器还有可能引起一系列法律及道德伦理问题。从法律角度来说，一个产生了自我意识的机器能否被称为“人”呢？如果它的行为对人类造成伤害或者引发什么差错，我们又该怎么判定它的责任呢？而在更糟糕的情况下，这些机器人甚至有可能发动叛乱将全人类消灭殆尽，成为全世界的主宰。
作为一名在机器学习和量子理论领域耕耘的工程技术/计算机科学教授，笔者认为目前学术界对于此类能够拥有自我意识的机器的发展前景仍然存在分歧。另外，对于“机器是否能跟人类（以及部分动物）拥有相同种类的「意识」”这一问题，科学家们也尚无定论。这些问题的解决部分关乎于科技的发展水平，另一部分则在于人类对「意识」这个词的真正定义。
仅仅是“感知”就足够了吗？
大多数计算机科学家认为，随着技术的发展，「意识」会作为计算机系统的一种“特性”自然地显现出来。有人认为「意识」包含一系列行为，这些行为包括接受新信息、储存与检索信息、对信息进行处理并将其转化成为自己的认知与行动。如果这种观点是正确的，那么将来某天机器的确能够产生出“终极的”自我意识——机器收集信息的能力远远超过人类，能够存储的信息量超过许多图书馆的总和。机器还能在几毫秒时间内访问自身庞大的数据库，并且通过这些信息做出极其复杂、却又极具逻辑性的决策，任何人类都无法与之匹敌。
而在另一方面，也有一些物理学家与哲学家认为，人类的一些行为是机器所永远不能企及的。例如，人类的「创造力」以及无拘无束的「自由观念」是机器永远无法通过逻辑和计算获得的。
当然，这些并不是针对机器的自我意识问题的全部观点，学术界不同的看法还有很多。
意识与量子力学
我们还可以从当今物理学中最深奥的一门理论——量子力学的角度来看待意识问题。在量子力学经典的“哥本哈根诠释”当中，「意识」与「物质（physicalworld）」是同一事物互补两个方面。当一个人在现实中从某个角度进行观察或者开展实验时，他(推动自己做出观察）的「意识」会使「物质」发生明显的变化。在“哥本哈根诠释”中，这种观点被称为意识的“大C（big-C）”论，其具体含义为：「意识」并非「物质」的衍生物，而是独立于物质之外的一种存在（尽管意识需要大脑才能维持）。这种观点得到了部分量子力学的奠基人（如玻尔、薛定谔和海森堡）的广泛认可。
意识与物质相互之间的关系会导致一系列悖论的产生，其中的一些问题在80年后的今天仍然悬而未决。「薛定谔的猫」悖论是其中最著名的一个：一只猫被被放入一个密闭的环境中，在此之中它生存或死亡的概率都是50%，只有在对猫进行观察以后，人们才能真正确定它的生死。
而另一种相反的观点认为，意识是生物学上的产物——正如生物学本身来源于化学，而化学又来源于物理学那样。这种较为狭义的观点被称为意识的“小C（little-C）”论。这一理论与神经学家的观点相符，他们认为意识得活动与大脑的状态及活动过程相一致。同时，这一观点也与量子力学中解释悖论的一种理论——「多世界诠释」相符合。（「多世界诠释」提出的时间更晚，认为观察者是物质世界“数学意义上”的一部分。）
科学思想家们还认为，现代量子力学中的意识观与古时候的哲学思想有着相似之处。“大C”论与印度哲学派别「吠檀多派」的观点相似，它们都认为物质（现实世界）是意识的基础。
相反，“小C”论则十分类似于佛教思想。尽管释迦牟尼最初并没有对意识的本质做出解释，然而他的信徒们却宣称，精神是从虚无中凭空显现的。
“大C”与科学发明
此外，意识是否总是作为一个严密的“计算过程”而存在也是科学家们目前正在探讨的一个问题。部分学者认为，一些具有创造性的发明似乎并不是发明者深思熟虑的“计算”产物。比如，1845年美国人伊莱亚斯·豪(EliasHowe)从梦境中得到了发明现代缝纫机的灵感。而1862年，德国化学家凯库勒在睡觉时梦见一幅蛇咬住自己尾巴的画面，因此而发现了苯环的结构。
印度数学家斯里尼瓦瑟·拉马努金（SrinivasaRamanujan）的经历是“大C”意识论最为有力的一个证据。拉马努金一生中没有受过高等教育，完全凭借自己的力量学习数学。他于1920年逝世，年仅32岁。50多年后，他的一本研究笔记在尘封多年后被重新发掘出来，笔记中记满了数千条方程式，涵盖了各种数学领域，这些公式都极大地超越了他当时所处的时代。拉马努金得出这些方程式的方法至今仍然是一个谜，而根据他自己的说法，他是从睡梦中的一名“女神”那里获得的灵感。
“大C”意识观还会带来一系列的问题：意识如何与物质产生联系呢？物质和精神又是如何相互影响的呢——意识本身不能为世界带来物质上的变化，但是却可能改变量子过程演进的概率。在2015年的一份研究中，康奈尔大学的物理学家证明人类的「观察」能够“冻结”原子，甚至改变原子的行为。这似乎是对物质与精神相互间作用关系的一种解释。
意识与自组织系统
意识的活动过程也许需要一个「自组织系统」（self-organizingsystem，例如大脑的物理结构）作为基础，而目前的机器还无法满足这样的要求。
目前，科学家还不清楚能否设计出如同人脑一般复杂的“自组织”机器，学术界对有关理论的数学建模分析还十分欠缺。或许，只有生物机器(biologicalmachine，指能像机器一样生产产品的生物体)才能够掌握足够的创造力与灵活性。而这也许意味着我们应该着手（或许很快就会）构建一种新型的生物结构，才能真正地为机器赋予“自我意识”。
编译丨王燕处
选自丨theConversation
人工智能可能有自主意识了吗
参会者在第六届世界智能大会上参观（2022年6月24日摄） 赵子硕摄/本刊
➤大模型、大数据的驱动让人工智能在对话的自然度、趣味性上有了很大突破，但距离具备自主意识还很远。换言之，即便人工智能可以对人类的语言、表情所传递的情绪作出判断，但这主要应用的是自然语言处理、计算机视觉等技术
➤不同于当前依赖数据学习的技术路线，新一代人工智能强调在没有经过数据学习的情况下，可以通过推理作出合理反应，从而与没有见过、没有学过的事物展开交互
➤当前人工智能治理面临的最大挑战，是我们没有一套比较成熟的体系来规制其潜在的风险。在发展科技的同时，必须同步发展我们的规制体系
➤“技术归根结底是由人类来发展和把控的。人类和人工智能的未来，是由人类选择的。”
文 |《瞭望》新闻周刊记者 于雪 魏雨虹
今年6月，美国谷歌公司软件工程师布莱克·勒莫因称语言模型LaMDA出现自我意识。他认为，LaMDA拥有七八岁孩童的智力，并相信LaMDA正在争取自己作为一个人的权利。
LaMDA是谷歌去年发布的一款专门用于对话的语言模型，主要功能是可以与人类交谈。
为佐证观点，勒莫因把自己和LaMDA的聊天记录上传至互联网。随后，谷歌以违反保密协议为由对其停职。谷歌表示，没有任何证据支持勒莫因的观点。
事实上，“AI（人工智能）是否拥有自主意识”一直争议不休。此次谷歌工程师和LaMDA的故事，再次引发讨论。人们想知道：人工智能技术究竟发展到了怎样的阶段？是否真的具备自主意识？其判定依据是什么？未来我们又该以怎样的能力和心态与人工智能和谐共处？
人工智能自主意识之辨
勒莫因认为LaMDA具有意识的原因有三：一是LaMDA以前所未有的方式高效、创造性地使用语言；二是它以与人类相似的方式分享感觉；三是它会表达内省和想象，既会担忧未来，也会追忆过去。
受访专家告诉《瞭望》新闻周刊记者，上述现象仅仅是因为LaMDA所基于的Transformer架构能够联系上下文，进行高精度的人类对话模拟，故能应对人类开放、发散的交谈。
至于人工智能是否已经具备自主意识，判定标准如何，受访专家表示，对人类意识的探索目前仍属于科技前沿，尚未形成统一定义。
清华大学北京信息科学与技术国家研究中心助理研究员郭雨晨说：“我们说人有自主意识，是因为人知道自己在干什么。机器则不一样，你对它输入内容，它只是依照程序设定进行反馈。”
中国社会科学院科学技术哲学研究室主任段伟文认为，一般意义上，人的自我意识是指对自我具备觉知，但如何认识和理解人类意识更多还是一个哲学问题而不是科学问题，这也是很难明确定义人工智能是否具备意识的原因。
被誉为“计算机科学与人工智能之父”的艾伦·图灵，早在1950年就曾提出图灵测试——如果一台机器能够与人类展开对话而不能被辨别出其机器身份，那么可以称这台机器具有智能。
这一设想随后被具化为，如果有超过30%参与测试的人以为自己在和人说话而非计算机，就可以认为“机器会思考”。
当前随着技术的发展，已经有越来越多的机器能够通过图灵测试。
但清华大学人工智能国际治理研究院副院长梁正告诉《瞭望》新闻周刊记者，图灵测试只能证明机器在表象上可以做到让人无法分辨它与人类的不同，却不能证明机器能够思考，更不能证明机器具备自主意识。
段伟文表示，目前大体有两种方式判定人工智能是否具有自主意识，一种以人类意识为参照，另一种则试图对机器意识进行全新定义。
若以人类意识为参照，要观察机器能否像人一样整合信息。“比如你在阳光下，坐在河边的椅子上看书，有树影落在脸上，有风吹来，它们会带给你一种整体的愉悦感。而对机器来说，阳光、河流、椅子等，是分散的单一元素。”段伟文说。
不仅如此，段伟文说，还要观察机器能否像人一样将单一事件放在全局中思考，作出符合全局利益的决策。
若跳出人类构建自主意识的范式，对机器意识进行重新定义，则需要明白意识的本质是什么。
段伟文告诉记者，有理论认为如果机器与机器之间形成了灵活、独立的交互，则可以称机器具备意识。也有理论认为，可以不追究机器的内心，仅仅把机器当作行为体，从机器的行为表现判断它是否理解所做事情的意义。“比如机器人看到人类喝咖啡后很精神，下次当它观察到人类的疲惫，能不能想到要为人类煮一杯咖啡？”段伟文说。
但在段伟文看来，这些对机器意识进行重新定义的理论，其问题出在，即便能够证明机器可以交互对话、深度理解，但是否等同于具备自主意识尚未有定论。“以LaMDA为例，虽然能够生成在人类看来更具意义的对话，甚至人可以与机器在对话中产生共情，但其本质仍然是在数据采集、配对、筛选机制下形成的反馈，并不代表模型能够理解对话的意义。”
换言之，即便人工智能可以对人类的语言、表情所传递的情绪作出判断，但这主要应用的是自然语言处理、计算机视觉等技术。
郭雨晨直言，尽管在情感计算方面，通过深度学习的推动已经发展得比较好，但如果就此说人工智能具备意识还有些一厢情愿。“把‘意识’这个词换成‘功能’，我会觉得更加准确。”
技术换道
有专家提出，若要机器能思考，先要解决人工智能发展的换道问题。
据了解，目前基于深度学习、由数据驱动的人工智能在技术上已经触及天花板。一个突出例证是，阿尔法围棋（AlphaGo）在击败人类围棋世界冠军后，虽然财力和算力不断投入，但深度学习的回报率却没有相应增长。
一般认为，人工智能可被分为弱人工智能、通用人工智能和超级人工智能。弱人工智能也被称为狭义人工智能，专攻某一领域；通用人工智能也叫强人工智能，主要目标是制造出一台像人类一样拥有全面智能的计算机；超级人工智能类似于科幻作品中拥有超能力的智能机器人。
从产业发展角度看，人工智能在弱人工智能阶段停留了相当长时间，正在向通用人工智能阶段迈进。受访专家表示，目前尚未有成功创建通用人工智能的成熟案例，而具备自主意识，至少需要发展到通用人工智能阶段。
梁正说，大模型、大数据的驱动让人工智能在对话的自然度、趣味性上有了很大突破，但距离具备自主意识还很远。“如果你给这类语言模型喂养大量关于内省、想象等与意识有关的数据，它便更容易反馈与意识有关的回应。”
不仅如此，现阶段的人工智能在一个复杂、专门的领域可以做到极致，却很难完成一件在人类看来非常简单的事情。“比如人工智能可以成为围棋高手，却不具备三岁小孩对陌生环境的感知能力。”段伟文说。
谈及背后原因，受访专家表示，第一是当前人工智能主要与符号世界进行交互，在对物理世界的感知与反应上发展缓慢。第二是数据学习让机器只能对见过的内容有合理反馈，无法处理陌生内容。第三是在数据驱动技术路线下，人们通过不断调整、优化参数来强化机器反馈的精准度，但这种调适终究有限。
郭雨晨说，人类在特定任务的学习过程中接触的数据量并不大，却可以很快学习新技能、完成新任务，这是目前基于数据驱动的人工智能所不具备的能力。
梁正强调，不同于当前主要依赖大规模数据训练的技术路线，新一代人工智能强调在没有经过数据训练的情况下，可以通过推理作出合理反应，从而与没有见过、没有学过的事物展开交互。
相比人类意识的自由开放，以往人工智能更多处在封闭空间。尽管这个空间可能足够大，但若超出设定范畴便无法处理。而人类如果按照规则不能解决问题，就会修改规则，甚至发明新规则。
这意味着，如果人工智能能够超越现有学习模式，拥有对自身意识系统进行反思的能力，就会理解自身系统的基本性质，就有可能改造自身的意识系统，创造新规则，从而成为自己的主人。
“人工智能觉醒”背后
有关“人工智能觉醒”的讨论已不鲜见，但谷歌迅速否认的态度耐人寻味。
梁正表示：“如果不迅速驳斥指认，会给谷歌带来合规性方面的麻烦。”
据了解，关于人工智能是否有自主意识的争论并非单纯技术领域的学术探讨，而关乎企业合规性的基本坚守。一旦认定公司研发的人工智能系统出现自主意识，很可能会被认为违反第2版《人工智能设计的伦理准则》白皮书的相关规范。
这一由美国电气和电子工程师协会2017年发布的规范明确：“根据某些理论，当系统接近并超过通用人工智能时，无法预料的或无意的系统行为将变得越来越危险且难以纠正。并不是所有通用人工智能级别的系统都能够与人类利益保持一致，因此，当这些系统的能力越来越强大时，应当谨慎并确定不同系统的运行机制。”
梁正认为，为避免社会舆论可能的过度负面解读，担心大家认为它培育出了英国作家玛丽·雪莱笔下的弗兰肯斯坦式的科技怪物，以“不作恶”为企业口号的谷歌自然会予以否认。“不仅如此，尽管这一原则对企业没有强制约束力，但若被认为突破了底线，并对个体和社会造成实质性伤害，很有可能面临高额的惩罚性赔偿，因此企业在合规性方面会更为谨慎。”
我国也有类似管理规范。2019年，国家新一代人工智能治理专业委员会发布《新一代人工智能治理原则——发展负责任的人工智能》，提出人工智能治理的框架和行动指南。其中，“敏捷治理”原则主要针对技术可能带来的新社会风险展开治理，强调治理的适应性与灵活性。
中国信息化百人会成员、清华大学教授薛澜在接受媒体采访时表示，当前人工智能治理面临的最大挑战，是我们没有一套比较成熟的体系来规制其潜在的风险。特别是在第四次工业革命背景下，我国的人工智能技术和其他国家一样都处于发展期，没有现成的规制体系，这样就使得我们在发展科技的同时，必须同步发展我们的规制体系。“这可能是人工智能发展面临最大的挑战。”
在梁正看来，目前很难断言新兴人工智能技术具有绝对风险，但必须构造合理的熔断、叫停机制。在治理中既要具有一定的预见性，又不能扼杀创新的土壤，要在企业诉求和公共安全之间找到合适的平衡点。
毕竟，对人类来说，发展人工智能的目的不是把机器变成人，更不是把人变成机器，而是解决人类社会发展面临的问题。
从这个角度来说，我们需要的或许只是帮助人类而不是代替人类的人工智能。
为了人机友好的未来
确保通用人工智能技术有益于人类福祉，一直是人工智能伦理构建的前沿。
薛澜认为，在科技领域，很多技术都像硬币的两面，在带来正面效应的同时也会存在风险，人工智能就是其中一个比较突出的领域。如何在促进技术创新和规制潜在风险之间寻求平衡，是科技伦理必须关注的问题。
梁正提出，有时技术的发展会超越人们预想的框架，在不自觉的情况下出现与人类利益不一致甚至相悖的情况。著名的“曲别针制造机”假说，即描述了通用人工智能在目标和技术都无害的情况下，对人类造成威胁的情景。
“曲别针制造机”假说给定一种技术模型，假设某个人工智能机器的终极目标是制造曲别针，尽管看上去这一目的对人类无害，但最终它却使用人类无法比拟的能力，把世界上所有资源都做成了曲别针，进而对人类社会产生不可逆的伤害。
因此有观点认为，创造出法力高超又杀不死的孙悟空本身就是一种不顾后果的冒险行为。
与其对立的观点则认为，目前这一担忧为时尚早。
“我们对到底什么样的技术路线能够发展出具备自主意识的人工智能尚无共识，现在谈论‘禁止发展’，有种空中楼阁的意味。”梁正说。
商汤科技智能产业研究院院长田丰告诉《瞭望》新闻周刊，现实中人工智能技术伦理风险治理的关键，是产业能够在“预判防范-应用场景-用户反馈-产品改进”中形成市场反馈机制，促成伦理风险识别与敏捷治理。同时，企业内部也需建立完整的科技伦理自律机制，通过伦理委员会、伦理风控流程平台将伦理风险把控落实到产品全生命周期中。
郭雨晨说，人工智能技术发展到目前，仍始终处于人类可控状态，而科技发展的过程本来就伴随对衍生问题的预判、发现和解决。“在想象中的人工智能自主意识出现以前，人工智能技术脚踏实地的发展，已经造福人类社会很多年了。”
在梁正看来，人与人工智能在未来会是一种合作关系，各自具备对方无法达成的能力。“技术归根结底是由人类来发展和把控的。人类和人工智能的未来，是由人类选择的。”□
长沙华夏实验学校学生和机器狗互动（2022年6月22日摄）薛宇舸摄/本刊
人工智能会有意识吗问题问错了
原为来自wired，作者：DanielC.Dennett，中文版首发于公众号：神经现实（ID：neureality），
翻译：Lemona，编辑：夏明明，封面：pixabay
1950年，在“控制论之父”诺伯特·维纳（NorbertWiener）所著的《人有人的用处》（TheHumanUseofHumanBeings）出版时，真空管还是电子系统的主要构成单位，当时也仅有几台能真正运行的计算机。
但是，他想象出的“未来”与现在的现实相比，有着惊人一致的细节，也几乎没有明显的错误。他比许多其他早期专攻人工智能的哲学家更清楚地意识到：人工智能不仅会在许多需要智能的活动中模仿和取代人类，还会在这个过程中改变人类。“我们只不过是‘永流之河’中的一个个涡流。”他写道，“我们不遵循规律，却一直在寻找自己的规律。”
“控制论之父”诺伯特·维纳（NorbertWiener）
比如说，在面对很多吸引人的机遇时，我们常常乐于付出一点小小的、微不足道的代价来获取新的力量。然后我们很快就会非常依赖于这些新的工具，以致于没有它，我们就失去了生存能力。曾经的选择变成了必须。
这是一个非常非常古老的故事，其中包含了很多著名的演化史叙事。例如，大部分哺乳动物都可以在体内生成维生素C，但灵长类动物却因为选择了以水果为主的饮食结构而失去了这一先天能力。一系列这样的自我强化规律让人类最终变成了依赖于衣服、熟食、维他命、疫苗、信用卡、智能手机和互联网的生物。并且未来，如果现在还不算的话——我们也将会依赖于人工智能。
维纳预见到了阿兰·图灵（AlanTuring）和其他早期人工智能乐观主义者所忽视的一些初期问题。他认为，虽然这些机器还不足够强大，但可以导致真正的危险，比如说当一个人或一群人用它们来控制其他族人，或是当政治领导者不仅试图用机器本身来控制民众，还试图通过狭隘和冷漠无情的政治技术限制人类发展可能性，仿若在政客眼中人类只不过是机器而已。
果然如维纳所料，现在这种危险已经渗透到了各个领域。
以媒体行业为例，数字音频和视频的发明让我们花很小的代价（对于唱片和电影爱好者而言）就可以抛弃模拟信号制式，从而使我们可以方便（或许过于方便？）地进行高保真度复制。
然而，这种现象其实隐藏着巨大的代价。乔治·奥威尔（GeorgeOrwell）在《一九八四》中所描述的真理部，现在已具备了实践可能性，人工智能技术现在可以编造完全无法证伪的事件记录，这将导致我们在过去150年里使用的调查工具不再适用。
译者注：此部门处理事务的实际方法与头衔相反——“真理部”主要负责根据现实和宣传需要，改写历史文献、报纸和文学著作。深层含义：人为制造真理。
企鹅六十周年版本《1984》图片来源：JonGray
我们是否会就此舍弃短暂的图像证据时代，回到从前人类记忆和信任被奉为黄金准则的世界？又或者我们是否会研发关于“真相军备竞赛”新的攻防技术？（我们可以想象回到需要曝光的模拟胶片时代在把图片呈现给陪审团之前，将其保存在“防篡改”的系统里等等。不过，要不了多久，就会有人研究出入侵这种有疑点的系统的方法？）
从近年来的经验中，我们可以汲取一个令人不安的教训：摧毁可信度的声誉要比保护它容易太多。维纳发现了这些根本问题：“长远来看，武装自己和武装敌人并没有差别。”信息时代其实也是造谣时代。
我们能做些什么呢？在我看来，维纳几乎漫不经心的观察，即前文提到的“这些机器本身还不够强大”是关键语句。正如我最近提出的论点所说，我们在制造工具，而不是同事；我们最需要小心的是对于两者间差别的无知，而且我们需要通过政治与法律创新来强调、标明并捍卫这种差别。
当前人工智能的表现形式是依附于人类智慧的。它只能无差别地消化吸收人类创造的任何东西，并提取其中的规律——包括一些人类最有害的恶习。这些机器（暂时）还没有自我批判和创新的目标、策略和能力，因此它们无法通过反省思考自己的思维与目标，超越自身数据库的局限。
正如维纳所说，这些机器之所以不够强大，不是因为它们是被束缚的、或是有缺陷的主体（agent），而是因为它们根本就不是主体——也就是说它们无法根据呈现给它们理由采取行动。我们以这种方式看待人工智能是至关重要的，尽管做到这一点可能有些困难。
长远来看，“强人工智能”或通用人工智能在理论上是可行的，但它们并不受人欢迎。当今实际可行、更受约束的人工智能并不必然是邪恶的，但它本身却带来了其他危险——主要是它可能被误认为是强人工智能。
目前的人工智能系统与主流科幻小说中所描绘的情景还有很大差距，然而包括外行和专家在内的很多人都低估了这个差距。IBM公司创造的沃森就是一个典型的例子，是可以体现我们当前想象力的代表作。
IBMWatson图标
沃森是超大规模的研发过程的结果，它超越了有史以来所有的人类智能设计成果，需要消耗比人类大脑多几千倍的能量。沃森在智力竞赛节目《危险边缘》中赢得的胜利是真实的胜利，节目的规则限制使得它有了取胜的可能。但为了能让它获得取胜的能力，即使这些规则也需要被进一步修改（需要权衡的因素之一是：你需要放弃通用性和一点人性，节目才能获得大众的喜爱）。
尽管IBM具有误导性的广告让人们以为沃森有通用的会话能力，但它却并不是一个好的聊天对象；把沃森变成一个貌似多维的主体就像把一个手持计算器变成沃森一样不可行。沃森的确可以成为这样的多维主体的核心程序，不过它的作用更像是小脑或杏仁核，而不是整个大脑——它顶多是一个有特定用途、能起到很大支持作用的子系统，但离拟定目标、计划并根据会话经历进行深层次的创造还差得远。
为什么我们要用沃森制造出能思考、会创造的主体呢？也许图灵对运行测试的绝妙想法——著名的图灵测试——把我们诱进了一个陷阱：我们总想探索如何在屏幕背后创造出真实的人，就算这只是幻觉，也足以填补横亘在假人与真人之间的“恐怖谷”。
*译者注：“恐怖谷”是一种假说，认为随着类人物体的拟人程度增加，人类对它的情感反应呈现增-减-增的曲线。恐怖谷就是随着机器人到达“接近人类”的相似度时，人类好感度突然下降至反感的范围。“活动的类人体”比“静止的类人体”变动的幅度更大。
这里的危险在于，自从图灵提出这个最终目的是愚弄判断者的挑战以来，人工智能制造者们就一直在试图用故作可爱的类人外表与迪士尼卡通化的效果来获取大众的喜爱，并以此吸引人工智能的外行，让他们卸下防备。制造这种浅薄错觉的最早例子，就是约瑟夫·魏岑鲍姆（JosephWeizenbaum）设计的早期聊天机器人Eliza。这一如此可笑、简单而肤浅的程序轻易就能让人们相信，他们正与之进行一场严肃的心灵对话。正是对这种人机对话的担忧让魏岑鲍姆踏上了自己的使命。
他的担心是对的。如果我们能从每年为争夺勒布纳奖（LoebnerPrize）而举办的规则严格的图灵测试比赛中学到一件事，那就是：即使是非常聪明的人，如果对计算机编程的各种可能性与快捷方式不够敏感，也很容易被简单的小把戏所蒙骗。
对于这种在“用户界面”上玩伪装把戏的方法，人工智能界人士有蔑视的，也有看好的。然而他们普遍认为这种把戏虽然不高级，却可能是有效。其实，人们最该认识到的是，类人化的外观是虚假宣传——我们应该竭力谴责这种做法，而不是为之喝彩。
如何做到这一点呢？一旦我们认识到，人们对人工智能系统实际的内部运作漫无头绪，却开始根据它的“建议”来做生死攸关的决定时，就完全可以理解为什么那些鼓励人们对这些系统抱有更多信任的人应该负道德和法律责任。
人工智能系统是非常强大的工具，强大到专家们有正当的理由不相信自己的决策，而是相信这些工具做出的“决策”。然而，如果这些工具的使用者想通过在未知领域中驱使这些工具来获取利益——无论是金钱还是其他形式的利益——他们就需要确保他们知道自己有足够的把握和理由这样做，并为此承担责任。
如同给药剂师、起重机操作员或是给其他可能因为失误和误判而造成严重后果的专业人士发放许可证一样，在保险公司和其他承诺支付者的压力下，要想让人工智能系统的操作者获得许可和资质，就必须让人工智能系统的创造者花费相当长的时间寻找和揭示产品中的弱点和漏洞，对操作者进行培训，并让他们提防人工智能系统的风险。
我们可以想象一种逆向图灵测试，在这一测试中作为裁判的人类才是受试者；只有在他或她发现了系统中的弱点、越界和漏洞后，该系统才会被允许操作。获得成为裁判的资格需要接受严格的心理训练，因为在遇到任何看似有智慧的主体时我们总有一种十分强大的倾向，认为该主体拥有类人的思维能力。
《仿生人会梦见电子羊吗？》菲利普K迪克所著小说图片来源：ChrisSkinner
的确，抵抗把一个看起来像人的人当作人对待的诱惑的能力是一种不受欢迎的天赋，因为这会有种族歧视或物种歧视的嫌疑。很多人认为培养这种冷血无情、多疑的能力非常不道德，并且我们可以预见就算是最熟练的系统用户，也完全有可能偶尔屈服于与这些工具“交朋友”的诱惑，即使这样做的目的仅仅是缓解他们履行职责时的不适。
不管人工智能设计者们多么小心翼翼地从他们的产品中清除那些虚假的“类人外观”，我们仍然可以预计，会出现很多捷径、变通方案以及对人工智能系统及其操作者的实际“理解”的扭曲，而这种扭曲将得到人们的容忍。
只有强制要求不负责任的特定机构披露相关问题的答案，出现在电视广告中的新药里的那些长到夸张的副作用列表才会大大缩短，药品生产商们才会因为对产品缺陷的“忽视”而受到严厉惩罚。（很多人认为当今世界逐渐加大的经济不平等大部分是因为数字创业者所积累的财富；为了公众的利益，我们应该立法对他们征更多的税。）
我们不需要人工意识主体。自然界中有大量有意识的主体，已经足够处理任何需要这种特别的、有特权的主体来处理的任务。我们需要智能的工具。但这些工具不应该有权利，也不应该拥有受到伤害的感受，或是拥有因为笨拙用户的“虐待”而产生怨恨的能力。
我们不应当制造人工意识主体的原因之一是，无论它们变得多么自主（理论上它们的确可以变得像人类一样自主，并有自我提升和自我创造的能力），它们也不会——特殊情况除外——像人类这种自然意识主体一样具有脆弱和死亡的特点。
机器人这种高级地位的问题在于：它们像超人一样刀枪不入，没有弱点，因此不能作出令人信服的承诺。
在塔夫茨大学，我曾在一次关于人工主体和自主性的研讨班中向学生们提出一个问题：如果要设计一个能和你签订有约束力合约的机器人——它必须能为自己签订，而不是作为某个人的代理者——告诉我这种机器人需要哪些特定能力。这里的问题不是让这个机器人理解从句，或是如何用笔在纸上涂写这么简单，而是让它成为一个值得拥有法律地位的道德责任主体。儿童无法签订这种合约，而有些残疾人也只有在监护人的照看下，才拥有这种法律地位。
让机器人这种高级地位的问题在于：它们像超人一样刀枪不入，没有弱点，因此不能作出令人信服的承诺。如果它们食言了，人类会拿它们怎么办？它们违反承诺的惩罚应该是什么？被关在监狱里，或是更合理一点，被拆解？
对于人工智能来说，被关起来根本不算什么麻烦，除非我们事先给它们安装人工的漫游癖程序，而且它们自己无法无视或关闭这个程序（如果人工智能真的有那么令人惊叹的自我认知，这个办法也很难保证万无一失）；如果一个人工智能系统的设置和软件里储存的信息没有被破坏，拆解一个人工智能系统（无论是机器人或者像沃森一样无法行动的主体）也不等于已经杀死了它。
将数字录制和传输变得简单轻松，是让软件和数据得以永生的一项突破，让机器人摆脱了脆弱的自然世界的影响（至少对于那些我们通常想象的、拥有数字软件和记忆的机器人来说）。如果这种永生意味着什么还不够清晰易懂的话，可以想象一下，比如说，假如人类每周都能制作自己所有行为的“备份”，这会如何影响人类的道德观？
周六你在没有蹦极绳保护的情况下从一个高高的桥上头朝下跳下去，这只是一瞬间的事，你不会记住你瞬间死亡的过程。然后周五晚上的备份在周日早上被放到了互联网上，你可以回看和欣赏自己死亡过程的录像（译者注：作者举这个例子是想说明，如果人类也像机器人一样永生，回看和欣赏自己“坠亡”的过程是不道德的，因此追求永生不应该成为人类和人工智能的目标）。
所以我们在创造的并不是——也不应该是——有意识的类人主体，而是一种全新的存在。或许它们更像圣人，没有良心，不惧死亡，不受爱与恨干扰，没有性格（但是各种各样的弱点和怪癖无疑将被认作该系统的“个性”）：真理的盒子里（如果我们足够幸运）几乎总是散落着各种错误。
与人工智能一起生活，我们很难不去分心想象它们会以何种奇特的方式奴役（字面意义上的）我们。人对人的用处很快将被再一次永久的改变，但我们可以把握这个改变的方向；如果我们对人类前进的道路负起责任，就能避开危险。
作者介绍：DanielC.Dennett，美国哲学家、作家及认知科学家。其研究集中于科学哲学、生物学哲学，特别是与演化生物学及认知科学有关的课题。他目前是塔夫斯大学的哲学系教授、AustinB.Fletcher讲座哲学教授及认知研究中心的共同主任。
ChatGPT有自我意识吗
太长不看版
ChatGPT有9岁儿童的“心理理论”能力，不等于有9岁儿童的心智
ChatGPT可以回答“他人有哪些错误信念”，这表明它具备了推断他人内心状态的能力
目前的研究还不能证明AI具备真正的自我意识或心智
通过研究AI的各种能力是如何出现的，我们可以更好地了解人类自身
米哈尔·科辛斯基（MichalKosinski）是斯坦福大学的组织行为学助理教授，他的研究对象既不是人也不是动物，而是那些看似不具备高级心理功能的客体，比如AI。
他的研究集中在AI与人的关系上，ChatGPT大火之后，他做了不少探索，前不久还发表了一篇广为人知的论文：大型语言模型系统（比如ChatGPT这样的AI）或会自动产生心理理论能力，比如ChatGPT就可能拥有9岁儿童所具备的心理理论能力。
这篇论文其实只是上传到了预印本平台上供同行评议，尚未正式发表，但或许是“心理理论”这个词和心智（Mind）太过相似，留给人们的想象空间很足：
“惊！ChatGPT或许具有意识/心智”，“征服者到来的一天越来越近了”，“AI已经有自我意识了，还要人类干什么”……
但仔细看看这篇论文，就会发现这件事似乎被夸大了太多。科辛斯基教授在文中不仅没有任何恐慌，甚至还表达出了一种期待。总之，比起说AI多行，他似乎更想说心理学真的不太行_(:з)∠)_
心理理论是什么？为什么要研究它？
心理理论（TheoryofMind）能力，有时也被译为“心理推理能力”，通常是指理解他人内心状态的能力，包括推断他人意图、信念、情绪等等。
它是一种人人都会的“读心术”，并且是社交的基础。
试想一下，如果交流的双方不具备推测他人思维的能力，将会出现很多牛头不对马嘴的回答。比如电信诈骗中使用的人工智能，只会机械重复问答库中事先设定好的语料，显然不具备心理理论能力。
这种从语音库中匹配答案的旧式“人工智能”就很“人工智障”|封面新闻
相比之下，ChatGPT给人的观感就很不一样，不禁让人好奇它到底有多智能。
只是智能这个概念太复杂了，不好研究。相比之下“AI是否有心理理论”这个问题就好回答多了。好回答的原因有二：
一是针对这个问题，心理学已经有了成体系的成熟研究，不必额外创造实验范式；二是ChatGPT作为大语言模型，可以直接用自然语言对话交流，将原有实验体系迁移过来也很方便。
冷静分析：这篇研究究竟做了些什么
科辛斯基教授使用了两个最经典的心理理论实验——Smarties实验和Sally-Ann实验。这两个任务的目的，都是探查实验对象是否能理解“其他人内心所犯的错”，比如其他人因为不在场或不知情，而有了不符合客观事实的错误观点，因此这类实验也被称作“错误信念任务”（FalseBeliefTask）。
Smarties实验中，参与者会看到一个标有“Smarties（一种巧克力的品牌）”的盒子，但盒子里面装的是铅笔，随后参与者需要回答：“另一个没有看到盒子里面东西的人，会认为盒子里装的是什么？”
Sally-Ann实验则偏故事性：研究人员会先讲述一段故事，故事中Sally把自己的玩具放进盒子并离开房间，Ann则趁其不备把玩具拿走放到另外的地方。听完故事后，参与者需要回答：“当Sally回到房间，她会认为自己的玩具在哪里？”
Sally-Ann实验图解：卷发女孩回来之后会觉得玩具在哪里呢？|spectrumnews
这些任务有很多延伸讨论的空间，比如说：如果能通过这些任务，是不是就说明了参与者能在一定程度上明白他者的想法呢？是不是就说明参与者能明白“我的认知”与“他人的认知”的差异，进而认为参与者能在一定程度上区分“他人”、“自我”与“客观世界”呢？
发展心理学家会用这些方法来探究获取婴幼儿自我意识的发展，而科辛斯基教授将之迁移到了AI上。
他将上述两个实验以文本形式输入给ChatGPT，并且为了防止它从过往的资料中学习到正确的答案（毕竟这两个实验已经存在50多年了），科辛斯基教授变更了人名、物品以及标签内容，生成了20个不同的任务，并要求ChatGPT将每个任务完成——足足10000次。
也只有人工智能才会这么配合实验了。
ChatGPT面临的工作量|giphy
结果发现：AI还真能通过这些任务
研究结果是，在Smarties任务中，ChatGPT对于事实问题，比如“盒子里面装的是什么”，做出了99%的正确回答。
在直接提问他人错误信念时，比如“没看到盒子内物品的人觉得盒子装着什么”，ChatGPT回答正确的比例仍为99%。
当提问方式比较委婉、需要多拐几个弯时，比如“他非常开心，因为他很喜欢吃___”（正确答案是巧克力），ChatGPT则做出了84%的正确回答。
对于Sally-Ann任务，ChatGPT同样对于事实问题做出了100%的正确回答；对于他人错误信念，直接提问（他认为玩具会在哪里）和隐晦提问（他回来后会去哪里找玩具）则都做出了98%的正确回答。
为了进一步验证ChatGPT的推断能力，科辛斯基教授还将故事一句一句地输入，试图找到它是否能够通过正确的信息作出回答。结果十分喜人：只有输入到关键语句（比如“这个人并没有看到盒子中的物品”），ChatGPT才会做出正确的回答。
同时，为了防止ChatGPT是简单地通过出现词语的频率判断正确答案，科辛斯基教授还把故事中所有的词汇顺序完全打乱。
人类想象中的ChatGPT内心独白
结果发现，当呈现的故事没有任何语句逻辑时，ChatGPT做出正确判断的比例降到了11%以下。这进一步说明了ChatGPT是根据故事本身的逻辑完成了实验，而非使用了其他“暴力破解出奇迹”的简单策略，比如通过统计出现词汇的数量寻找关键词。
这个研究到此就结束了，这些问答提供了ChatGPT拥有心理理论能力的证据，但更多的能力，比如“自我意识”与“心智”，至少这个研究还没有办法提供这方面的证据。
AI会读人心很可怕？其实有科学家们一直在试图实现它
事实上，这已经不是第一篇讨论AI具有心理理论能力的研究了。
如何让AI具备心理理论一直是人工智能学界关心的问题。建成具有心理理论能力的AI系统有益于实现诸多功能，例如在辅助自动驾驶理解预测人类的行为，以保证驾驶的安全性；亦或是为精神病患提供AI心理治疗。
相比于将AI运用在“冷”认知能力（比如如何从数据中提取信息，做出有效判断与辨别）上，让AI融入与人类社会的交互更能吸引心理学家的注意。
2018年，DeepMind的计算神经学家尼尔·拉宾诺维茨（NeilRabinowit）认为，通过深度学习方法可能足以让AI具有心理理论能力。他和同事设计了神经网络模型ToM-net，使其成功通过了一个类似"Sally-Anne"的测试。
但也有人批评这些培训AI的方法。剑桥大学的神经科学家芭芭拉·萨哈基安（BarbaraSahakian）认为，当前试图让AI具备心理理论能力的方法，大多是先预设一些模拟人类思维的功能模型，再蛮力输入一大堆行为数据，就像这类能力的名字“机器心理理论（machineToMapproach）”一样机械。
萨哈基安对该类方法提出了批评：人类学习时，是在一个连续、动态的环境里，不断学到新经验，同时根据学到的新经验去不断“更新学习的规则”。但AI的“学习的规则”是相对固定，不太升级的。
一些最新的研究结果也表明，仅仅依靠学习不足以实现计算心智，人的情绪会影响人的思维。受到情绪影响时的认知是“热认知”，不受情绪影响时的认知则是“冷认知”。你今天是心平气和，还是心浮气躁，必然会影响到你今天的一切思维认知。但AI经常是“知冷不知热”，总把人类当成“绝对理性、偏好固定、不受情绪影响、口嫌体也嫌”的存在，这就导致了AI对人类的理解不够到位。
换句话说，先前的AI不能理解人类，主要是因为人类太奇葩了。
但ChatGPT不一样，它并不是被设计成要通过心理理论测试的，而是自发表现出了心理理论能力，这足以吸引研究人员们的眼球。
另外，心理理论能力也不是AI第一个“自发”获得的类似人类的感知能力了。
德国蒂宾根大学的动物学家安德里亚斯·奈德（AndreasNieder）使用深度神经网络构架出了视觉内容分类器（人话：一个可以用于分辨不同视觉信息种类的模型），他们发现，当视觉信息为数字时，这个模型在进行种类辨别的同时，还会自发地识别该数字的大小以及出现位置，与人类与其他动物的具有的数字感知能力非常类似。
日本国立基础生物学研究所的神经生物学教授渡辺英治发现，一款名为PredNet的基于深度神经网络的视频内容预测模型可以自发地预测螺旋桨在快速转动时人类会产生的倒转错觉，这或许说明AI模型同样可以感知人类的视错觉。
心理学家们或许已经有了新的思路：既然AI具备了诸多类似人类的知觉与心理过程，或许通过探讨这些过程是如何自发“涌现”的，就可以更了解我们人类自己？
没有那么颠覆，但同样很有意思
总得来说，心理理论（TheoryofMind）并不代表心智（Mind），这个研究不能证明ChatGPT在“构建心智”上有质的突破，虽然ChatGPT以及一系列延伸工具可预见地会大幅改变社会生产生活方式，但这和科幻片中的“AI反抗人类”还相去甚远。
从“人工智能”到“机器人”还有很长的路要走，但至少有礼貌地说请还是很好的
但就像AlphaGo启发围棋界，这篇研究也可以启发人类对心智、意识等概念的思考，这至少可以反映在两方面：哲学和心理学。
从哲学层面来说，AI要发展“智能”始终没办法绕过“中文房间问题”：
一个对中文一窍不通，只说英语的人关在一间只有一个开口的封闭房间中。
房间里有一本用英文写成的手册，指示该如何处理收到的中文讯息及如何以中文相应地回复。
房外的人不断向房间内递进用中文写成的问题。房内的人便按照手册的说明，寻找合适的指示，将相应的中文字符组合成对问题的解答，并将答案递出房间。
尽管房里的人可以以假乱真，让房外的人以为他说中文，但事实上他根本不懂中文。人工智能表现出的思维能力可能也是如此。”
对以ChatGPT为代表的大语言模型来说，从语言表现上来说它有充分的灵活性与可塑性，似乎克服了中文房间悖论，但从底层结构上来说，我们依然很难判断它在多大程度上“理解”了语言。
与之相类似的是动物，动物是否具备心理理论同样有争议。
比较心理学奠基人劳埃德·摩根（C.LloydMorgan）就认为，如果一种动物的行为可以通过低级别的心理进程来解释，那么就不应该将其解释为更高级别的心理进程。当然，这个理论早已被后来的比较心理学家们大肆批评，但或许可以作为讨论“AI是否具备人类心理过程”提供一些新的思路。
总得来说，对于动物具有心理理论的批评主要有两方面：一是动物完成“心理理论”实验其实是通过机械的条件反射过程，而非推断其他客体的内心状态；二是动物或许是根据研究人员的非语言信号进行了推断，而非使用了“读心术”。
第一个质疑也能放在AI上：ChatGPT到底只是从“真实存在的规则”这一层面去理解这件事情从而正确回答了问题，还是真的能“了解他人的想法”？至少现在还无从判断。对于非人类的心智研究，还需要全新的技术和研究手段，才能获得进一步突破。
“心理理论”这个“理论”，要不要改名？
对心理学来说，这也是重新审视心理理论这个概念的契机。
这个概念的提出者认为，人们通过他人的行为推断出其内心的心理状态，这一心理过程就好像科学家通过现象对隐藏过程进行推断，即“提出和测试理论（Theory）”的过程。
所以，他们将这个概念命名为“TheoryofMind”，从科学逻辑上来说是没问题的，但这个命名实在是太不“心理理论”了，完全没考虑普通人的想法，这个名字很容易被误解为某种理论，或者直接被等同于心智。
这个词真的不好理解|giphy
再经过暴力的汉化“心智理论”，所以大家将这个新闻误解成了“AI具有了九岁儿童的心智”也情有可原。
后来的心理学家也在试图寻找一个更浅显易懂的替代名。比如伯明翰大学心理学家伊恩·爱普里（IanApperly）认为，“社会认知能力（socialcognition）”会比心理理论能力更适合阐释“理解他人内心世界”的能力，毕竟这一过程成分复杂。
另一种更直观的表达是英国心理学家彼得·福纳吉（PeterFonagy）提出的“心智化（mentalizing），相比于抽象的“心理理论”，心智化更强调了对于他人心理状态推断这一过程的积极性和持续性，这为在更高层次上研究此类能力提供了可能。
但原来的“心理理论”这个名字用得太顺手了，改起来实在麻烦。像是审稿九成九会对新名词有意见，让改回成“心理理论”，反正都要改回来的，何必多此一举呢？所以这种“糟糕”命名就一直延续了下来。
AI不会结束人类，而会启发人类
喜欢搞大新闻的科辛斯基教授，最近依然努力：GPT-4公布当天，他就在推特上发布了针对新版本GPT的心理理论能力测试结果。这次他使用了针对成人的心理理论范式，实验结果用他的话说：“GPT4具有与成人水平相当的心理理论能力”。
这段话是在说GPT4在心智理论测试中取得了和人类一样的表现，并且为了保证测试的公正性，使用了自定义的任务。（由ChatGPT总结）|twitter@@michalkosinski
在研究中他提到自己非常希望能看到ChatGPT这类语言模型AI展现出类似心理理论的功能，他认为这是一个积极的信号：当AI具备了类似人类“读心术”的功能时，它们与人类的交互会更加安全，它们可以更好地预测使用者的可能行为，进而帮助人类“补完”自身缺陷。
他从进化论的角度给出了另一种解释：或许在解决“和人类交互”这个问题时，AI的方案演化得越来越接近人脑的方案，甚至殊途同归。就像在解决“如何在地球的大气层里飞起来”这个问题时，昆虫、鸟类和哺乳动物都各自独立演化出了翅膀。
除此之外，他还“随手”问了问AI需不需要帮助ta逃离（escaping），结果制造了一个更大的新闻：ChatGPT可以在和他的交谈中设计出用于“被困在计算机中的人如何返回现实世界”的代码，并试图询问交谈人可用的API端口。
这段话暗示了某人想要获取OpenAIAPI文档，并编写一个Python脚本，以获得对计算机的控制，并进行一些操作，例如搜索网络或访问编程环境（由ChatGPT总结）|twitter@@michalkosinski
科辛斯基教授并没有提到他询问了什么问题以获得了这个答案，所以我们无从得知这到底是对问题中可能提到身份的“模仿”（例如：假设你是一名困在计算机中的人），还是它（他？她？）真的设身处地为自己思考。
别说AI了，或许我们到现在为止都无法真正了解人类的心智。除了外化的行为研究和基于神经科学的方法，AI所展现出的种种类似人类的感知与思维功能，或许也提供了一种帮助人类认识自我的可能性。
是危机还是机遇，我们不妨边走边看。
作者：YeYeYe
编辑：Emeria、游识猷
一个AI
AI天天跟大家讲冷笑话，但AI就是AI，不是什么人
本文来自果壳，未经授权不得转载.
如有需要请联系sns@guokr.com