机器学习漫谈：走向有意识的机器
目前的人工智能还没有被设计成达到所有三个层次的意识。尽管最近深度学习取得了成功，但目前的机器仍然主要实现反映人脑无意识处理（C0）的计算。
更高层次的人工意识是否有意义？虽然某些智能设备（如，智能厨房设备）不太可能从更高层次的意识中受益，但更高层次的意识也许可以在语音助手或拟人机器人中得到应用，这些机器人的设计考虑到了这种互动性。
有意识的机器
神经科学表明，无论意识是什么，它都必须通过大脑和神经系统在生理上产生。如果某种东西起源于物理，那么科学就可以复制它。科学已经复制了人类的心脏，那么为什么它不能以人工意识的形式复制大脑呢？随着专门为人工智能开发的新的复杂数学领域的发展，意识将得以实现。通过复杂的数学和算法，机器将能够获得意识。有研究者提出自我意识机器的蓝图：（1）对外界刺激作出反应的身体或装置(这可能是一辆汽车，当它感觉到下雨时，挡风玻璃雨刷会启动，或者当一个孩子走到它前面时，它会刹车）；（2）语言引擎(这可能是一辆有数百种不同灯光和指示灯的汽车，也可以像GPT-3一样精通自然语言）；（3）一种算法，它试图推断这些通信的原因和动机，这个问题最大。
机器学习或神经网络等技术，是当前建立人工智能的最重要的方法，使计算机能够从所提供的数据中“训练”出技术。通过这种训练，可以在没有明确编程的情况下进行预测或决策。机器学习算法在医学、电子邮件过滤和计算机视觉等领域有着广泛的应用——这些任务是传统的算法难以实现的。一些研究人员认为，深度学习是实现机器意识的途径。他们的论点是，这些机器将能够通过获得的知识创造自己的算法路径，并获得某种自我意识。有的专家认为，将从“无监督学习算法的突破”开始，一旦实现了这一目标，“机器智能可以迅速超越人类智能”。
牛津大学计算机科学系系主任和计算机科学教授迈克尔·沃尔德里奇（MichaelWooldridge，出生于1966.8.26，曾任欧洲AI协会主席）著有《意识机器之路（TheRoadtoConsciousMachines）》一书（参考资料[2]）。他在书中指出，深度学习可能是人工通用智能的一个重要组成部分，但绝不是唯一的组成部分。事实上，我们还不知道其它一些成分是什么，更不知道人工通用智能的配方可能是什么样子。我们开发的所有令人印象深刻的功能——图像识别、语言翻译、无人驾驶汽车——加起来并不等于通用智能。从这个意义上说，我们拥有一些智能组件，但不知道如何构建一个集成这些组件的系统。特别是，一些关键组件仍然缺失：即使是当代最好的人工智能系统，也不能对它们所做的事情表现出任何有意义的理解。尽管它们可能擅长于自己的工作，但它们不过是为执行特定任务而优化的软件组件。
图2迈克尔·沃尔德里奇
强人工智能机器（和我们一样，是有意识的、有自我意识的、真正自主的存在）的前景有许多不确定性。通往有意识的机器之路将是艰辛之路。图3引自前面提到的《意识机器之路》一书，显示了可能希望计算机执行的一些任务，并显示了让计算机实现这些任务的难度。不过该书出版于2018年，由于2020年GPT-3的诞生，自然语言处理的突破，其中列举的“理解故事并回答有关问题”等，似乎不能再看作“远未解决”的问题。
图3若干希望计算机执行的任务（参考资料[2]）
无论如何，我们离实现人工通用智能或意识的机器还差得远，甚至于“有意识的机器”是否可能，更不用说是必要的还是可取的，仍然有很大的争议。如今，人工智能（AI）被带入生活：“AI在视频游戏中击败人类玩家”或“AI模仿人类语言”，以及“AI使用机器学习检测癌症”。但是，Facebook人工智能研究总监、纽约大学计算机科学教授扬·勒村（YannLeCun）认为，我们可能高估了当今人工智能的能力，从而出现了一些炒作。“我们还远远没有像人类和动物那样拥有能够学习世界最基本事物的机器，”勒坤说，是的，在某些特定领域机器有超人的性能，但就通用智能而言，我们甚至还没有接近老鼠。
今天的人工智能擅长于从事特定的任务：例如，图像或语音识别，这些专门的人工智能也被称为“应用人工智能”或“人工窄智能”，离所谓的人工通用智能（AGI）还很远。
人工通用智能（AGI）指的是一个人工智能操作员能够执行人类几乎所有的任务。本·格特策尔（BenGoertzel）提出过“咖啡测试”和“机器人大学生测试”。咖啡测试是说，如果机器人能做到：走进一个普通美国人的家，想办法煮咖啡，包括识别咖啡机，弄清楚按钮的作用，找到橱柜里的咖啡，等等，也许我们应该认为它具有人工通用智能。机器人大学生考试（可能）更具挑战性：当一个机器人能够进入人类大学，以与人类相同的方式上课，并获得学位时，就可以说，我们创造了人工通用智能。尼尔斯·尼尔森（NilsNilsson）曾建议对“人类级人工智能”就业测试：表现出真正人类水平智能的机器应该能够做许多人类能够做的事情，包括人类从事的任务或“职业”。要通过就业测试，人工智能程序必须具备至少重要工作完全自动化的潜力。
意识测试更为困难。“自我意识”和“有意识”在哲学上是有区别的，在任何一种情况下，我们都很难判断人工智能是否是其中之一。如果人工智能能完美地模仿人类，如果行为上没有明显的差异，它会通过我们所能做的每一个自我意识测试，我们会假设它是自我意识的，而事实上它不是。
布卢姆的意识图灵机
.曼纽尔·布卢姆（ManuelBlum，1938.4.26出生，1995年图灵奖得主），ManuelBlum是委内瑞拉裔美国计算机科学家，理论计算机科学大师，1995年获得图灵奖，“以表彰他对计算复杂性理论基础及其在密码学和程序检查中的应用所作的贡献”。其妻子兰诺·布莱姆，儿子阿夫里姆·布卢姆，都是MIT毕业生和梅隆大学计算机科学教授。
图4曼纽尔·布卢姆
2018年10月17日，曼纽尔·布卢姆在加州大学伯克利分校做的ACM图灵奖荣誉获得者演讲，其标题也是《走向有意识的人工智能：一个由神经科学启发的计算机体系结构》，署名是“三个布卢姆：曼纽尔、兰诺、阿夫里姆”。布卢姆在伯克利的演讲，从“什么是意识？”讲起。布卢姆指出，粗略地说，意识是你所关注的一切。意识就是你对自己的感知：你看到的、听到的、闻到的、尝到的、触摸的……，你内心的语言，你的梦（但不是无梦的睡眠），你的感觉：快乐、恐惧、悲伤、痛苦……。该讲演重点是一个图灵机器的正式模型，称为有意识图灵机（CTM）或有意识人工智能（CAI）。
2020年11月，曼纽尔·布卢姆和阿夫里姆·布卢姆发表了题为《意识的理论计算机科学观点》的预印本（参考资料[3]）。他们提出了一个数学模型，有意识的图灵机(CTM)，作为神经学家伯纳德·巴尔斯的意识剧场的形式化。提出CTM是为了理解意识。在确定这个模型时，他们寻找简单而不是复杂性，寻找一个足以解释意识的简单数学模型，而不是一个大脑或认知的复杂模型。他们的方法，在数学和理论计算机科学的精神上，提出了正式的定义来确定非正式的概念和推断结果。其主要目标是确定CTM是否能够体验感觉而不仅仅是模拟它们。他们认为，即使是对大脑电路的完整了解——包括意识的神经关联——也无法解释是什么使大脑产生了一种有意识的体验，比如疼痛。据称，他们提出的解释对具有硅和金属大脑的机器人和具有血肉大脑的动物同样有效。
CTM的系统架构，它的基本处理器、富有表现力的内在语言（他们称之为智慧）及其动力学（预测、竞争、反馈和学习），使它有意识。
虽然布卢姆强调CTM是追随艾伦·图灵的图灵机（TM）精神，寻求简单的意识模型。但是，似乎CTM的定义，远不及TM简洁而强大。任何一种你可能会想到的数学公式都可以被编码成图灵机。而且，如果所有的数学决策问题都可以通过遵循一个公式来解决，那么任何决策问题，都能够通过构建图灵机来求解。为了解希尔伯特问题，你所要做的就是证明有一些决策问题是任何图灵机器都无法回答的。图灵就是这么做的。图灵证明了他的机器可以变成通用的解题的机器，我们现在称这些通用图灵机为通用图灵机。现在，还没有任何意识模型能够与图灵机媲美。
机器能有情感吗？
机器人已经可以模仿情感，并且看起来有情感。不过，这些“情感机器人”，只是按照程序进行操作，并非拥有任何人工意识。例如，情感机器人通过说“请不要关掉我”和“我害怕黑暗”的方式，让它们看起来好像有感觉。这反过来又影响了人们与他们的互动方式。
人工智能正被开发用来解读人类的情绪。人类和动物作为社会性生物，依靠情感相互作用和理解。肢体语言、语调和语调都能表达我们的感情和情绪，通常是自发的和自动的。能够理解这些信号被称为情绪智力，并被描述为“人类互动成功的关键”。这些机器人被开发用来学习和解释人类的情感，通过解释音调、声音、肢体语言（如面部表情）中的线索。然而，目前还没有任何机器人能够以同样的方式复制这种情绪和“感受”情绪。
也许人工意识的发展还没有达到机器人能感觉到情绪的程度的原因之一，是因为我们想要机器人感觉到情绪的原因似乎并不多。有一个强有力的论据认为，如果没有人工情感或人工意识，机器人的工作效率会更高，尤其是在工作场所考虑机器人时，会适得其反。如果机器人能“感觉”疲劳或情绪化，从而从他们的核心职责分心，真的有什么优势比人类工人？
然而，在其他一些行业，机器人会照顾病人，人工意识和情感可能是有益的。例如，在如今的养老院中，一些人工智能被用来照顾老人或体弱者，而且人工智能越是人性化，他们就越能与所照顾的人建立“关系”，从而改善他们的功能。
有意识机器带来的棘手问题
人工智能越来越聪明，越来越快。这就产生了我们无法回答的棘手问题。
未来，随着人工智能变得越来越复杂和无处不在，我们可能被迫重新思考我们如何对待人工智能的是非，甚至他们如何对待我们。
目前，人工智能在本质上只有狭窄的能力，执行诸如图像识别、欺诈检测和客户服务等任务。但是，随着人工智能的发展，它们将变得越来越自主。在某个时候，他们很可能做错了。我们可能不得不接受这样一个事实，即我们并不总是理解为什么人工智能会这样做事情，并生活在这种不确定性之中。随着时间的推移，人工智能可能变得如此复杂，以至于无论我们是否理解它们，它们都将被视为对自己的行为负有法律和道德责任。在法律上，非人类实体已经可以通过所谓的企业人格：企业以与人相同的方式拥有合法的权利和责任。也许有一天，这同样适用于AI。
用“意识”这个词来描述AGI的问题是，它带来了人性的某些内涵。如果机器被认为是有意识的，那么一些伦理和法律方面的考虑就会起作用。
这意味着，在未来，如果我们能认定AI有罪，我们甚至可能要考虑，如果他们不了解自己行为的是非，是否应该为自己的罪行受到惩罚？而这往往是人类承担刑事责任的一个门槛。
惩罚的问题也带来了权利的问题，以及人工智能是否有任何可能被惩罚的方式侵犯的问题。但对一些人来说，即使是在人权对人类仍然不普遍的时候讨论人工智能的权利——人工智能的能力最多也要几十年才能与人类相匹配——这一想法似乎也比技术领先了一段距离。
“机器人权利”的概念以前经常被讨论。按理说，如果我们能够成功地创造出一台有意识的机器，那么它就有一个令人信服的理由，即享有权利和法律保护。人类不会阻止那些智商较低的人得到同样的保护和权利。他们被所有人所享受，仅仅是因为他们是人。如果未来的机器真的是智能的，并拥有人工意识，他们在什么时候会获得权利？
但是，如果机器人的设计、编程和制造都是为了服务人类，那么机器人权利的想法似乎适得其反。例如，在乔安娜·布赖森（JoannaJ.Bryson）认为，机器人应该被视为奴隶，因为他们将是仆人，而把机器人和人类放在一起考虑是错误的。布赖森认为，事实上，我们拥有机器人，从外观到智能，机器人的一切都是由人类直接或间接设计的。她认为，利用人类对人工智能的同理心可能是潜在的危险。
道德和伦理问题很重要。随着人工智能道德地位的提高，我们可能还需要处理另一个道德问题。如果人工智能拥有比我们更高的智能和感知水平，那最终是否意味着他们应该得到比我们更高的道德地位？如果我们必须在拯救人工智能和拯救一个人之间做出选择，我们是否必须选择人工智能？
表1列举了未来人工智能发展带来的诸多问题中的一部分（收集来自网络）。
表1若干棘手问题
l训练数据问题：n我们能否避免根据训练数据向某些群体提供不公平的机会？n我们如何确保用于训练人工智能的数据集是公平和平衡的？n不平等的数据获取会带来什么后果？l隐私问题：n随着自动化系统越来越多地跟踪我们，我们如何保护我们的隐私？n我们如何控制用来训练人工智能的关于我们自己的数据？l安全问题：n在一个建立在人工智能基础上的世界里，会发生什么样的意外失败？n什么样的对抗性攻击可能被用来故意让人工智能对我们不利？l可解释性问题：n我们如何在人工智能系统中建立透明性和可解释性？n构建本质上是“黑匣子”的不透明系统可能会产生什么后果？l责任问题：n当人工智能系统出现故障时，谁对其负责？n当人工智能系统失败时，什么样的影响是公平的？n在自主算法时代，哪些法规可能有助于确保公平性？n人工智能将如何影响金融不平等或集中财富？n建立自动化金融系统的后果是什么？n我们怎样才能减轻工人因自动化机器而失去工作的影响？l价值观问题：n我们怎么能与那些天生缺乏人类价值观的机器共存呢？n我们应该在人工智能中嵌入什么价值观？n你能给机器人一个灵魂吗？n机器人是仁慈的还是敌对的？n有没有可能教机器伦理、同理心或同情心？n当一个可以重写自己代码的程序偏离了它的创造者实现目标的意图时，会发生什么？n如果人工智能将人类“边缘化”以优化特定结果，可能会发生什么情况？n我们如何防止某些人群受到人工智能的歧视或边缘化？l权力、地缘政治和战争问题：n人工智能将如何影响地缘政治力量？n人工智能将如何改变战争？n可以用人工智能制作一段看似真实的假视频或录音，社会将如何适应后真相的世界？n人工智能将如何影响或促成社会操纵？l环境持续性问题：n人工智能能使我们的环境恢复平衡吗？n智能机器如何保护、保护和培育生态系统和生物物种？n人工智能能开发100%的可再生能源，让我们摆脱化石燃料吗？l艺术与创意问题：n自主机器能有创造力并真正创造艺术吗？n人工智能系统将如何增强和增强人类的创造力？结语
上一篇博文（《机器学习漫谈：还有很长的路要走》）的结语提到，“人们试图制造一台机器，它像人类一样进行各种活动。达到这个科学史上最为雄心勃勃的目标，还有很长的路要走”。路在何方？前面提到的剑桥大学教授迈克尔·沃尔德里奇的一本书的书名给出了回答：《TheRoadtoConsciousMachines（有意识机器之路）》。当然，这条路还淹没在迷雾中，很不清晰。
人工智能是人类真正的革命事业之一。它将改变我们的经济和社会。如果我们做对了，世界将会变得更好，有助于根除贫困和应对气候变化。当然，与任何技术一样，通往有意识机器之路，并非平坦的大路，甚至存在风险。但是，人类往往会意识到技术何时会产生重大负面影响，最终会处理好它。人类掌握着控制权，自然会尝试并利用科技创造一个更美好的世界。
参考资料
[1]Gamez,D.HumanandMachineConsciousness.OpenBookPublishers,Cambridge.2018.
[2]MichaelWooldridge.TheRoadtoConsciousMachines.TheStoryofAI.PenguinBooks.2018
https://arxiv.org/abs/2011.09850
[3]ManuelBlum,LenoreBlum.ATheoreticalComputerSciencePerspectiveonConsciousness.arXiv:2011.09850.[Submittedon18Nov2020(v1),lastrevised21Jan2021(thisversion,v3)]
转载本文请联系原作者获取授权，同时请注明本文来自王宏琳科学网博客。
链接地址：http://blog.sciencenet.cn/blog-3005681-1287359.html
上一篇：机器学习漫谈：还有很长的路要走返回搜狐，查看更多
人工智能可能有自主意识了吗
参会者在第六届世界智能大会上参观（2022年6月24日摄） 赵子硕摄/本刊
➤大模型、大数据的驱动让人工智能在对话的自然度、趣味性上有了很大突破，但距离具备自主意识还很远。换言之，即便人工智能可以对人类的语言、表情所传递的情绪作出判断，但这主要应用的是自然语言处理、计算机视觉等技术
➤不同于当前依赖数据学习的技术路线，新一代人工智能强调在没有经过数据学习的情况下，可以通过推理作出合理反应，从而与没有见过、没有学过的事物展开交互
➤当前人工智能治理面临的最大挑战，是我们没有一套比较成熟的体系来规制其潜在的风险。在发展科技的同时，必须同步发展我们的规制体系
➤“技术归根结底是由人类来发展和把控的。人类和人工智能的未来，是由人类选择的。”
文 |《瞭望》新闻周刊记者 于雪 魏雨虹
今年6月，美国谷歌公司软件工程师布莱克·勒莫因称语言模型LaMDA出现自我意识。他认为，LaMDA拥有七八岁孩童的智力，并相信LaMDA正在争取自己作为一个人的权利。
LaMDA是谷歌去年发布的一款专门用于对话的语言模型，主要功能是可以与人类交谈。
为佐证观点，勒莫因把自己和LaMDA的聊天记录上传至互联网。随后，谷歌以违反保密协议为由对其停职。谷歌表示，没有任何证据支持勒莫因的观点。
事实上，“AI（人工智能）是否拥有自主意识”一直争议不休。此次谷歌工程师和LaMDA的故事，再次引发讨论。人们想知道：人工智能技术究竟发展到了怎样的阶段？是否真的具备自主意识？其判定依据是什么？未来我们又该以怎样的能力和心态与人工智能和谐共处？
人工智能自主意识之辨
勒莫因认为LaMDA具有意识的原因有三：一是LaMDA以前所未有的方式高效、创造性地使用语言；二是它以与人类相似的方式分享感觉；三是它会表达内省和想象，既会担忧未来，也会追忆过去。
受访专家告诉《瞭望》新闻周刊记者，上述现象仅仅是因为LaMDA所基于的Transformer架构能够联系上下文，进行高精度的人类对话模拟，故能应对人类开放、发散的交谈。
至于人工智能是否已经具备自主意识，判定标准如何，受访专家表示，对人类意识的探索目前仍属于科技前沿，尚未形成统一定义。
清华大学北京信息科学与技术国家研究中心助理研究员郭雨晨说：“我们说人有自主意识，是因为人知道自己在干什么。机器则不一样，你对它输入内容，它只是依照程序设定进行反馈。”
中国社会科学院科学技术哲学研究室主任段伟文认为，一般意义上，人的自我意识是指对自我具备觉知，但如何认识和理解人类意识更多还是一个哲学问题而不是科学问题，这也是很难明确定义人工智能是否具备意识的原因。
被誉为“计算机科学与人工智能之父”的艾伦·图灵，早在1950年就曾提出图灵测试——如果一台机器能够与人类展开对话而不能被辨别出其机器身份，那么可以称这台机器具有智能。
这一设想随后被具化为，如果有超过30%参与测试的人以为自己在和人说话而非计算机，就可以认为“机器会思考”。
当前随着技术的发展，已经有越来越多的机器能够通过图灵测试。
但清华大学人工智能国际治理研究院副院长梁正告诉《瞭望》新闻周刊记者，图灵测试只能证明机器在表象上可以做到让人无法分辨它与人类的不同，却不能证明机器能够思考，更不能证明机器具备自主意识。
段伟文表示，目前大体有两种方式判定人工智能是否具有自主意识，一种以人类意识为参照，另一种则试图对机器意识进行全新定义。
若以人类意识为参照，要观察机器能否像人一样整合信息。“比如你在阳光下，坐在河边的椅子上看书，有树影落在脸上，有风吹来，它们会带给你一种整体的愉悦感。而对机器来说，阳光、河流、椅子等，是分散的单一元素。”段伟文说。
不仅如此，段伟文说，还要观察机器能否像人一样将单一事件放在全局中思考，作出符合全局利益的决策。
若跳出人类构建自主意识的范式，对机器意识进行重新定义，则需要明白意识的本质是什么。
段伟文告诉记者，有理论认为如果机器与机器之间形成了灵活、独立的交互，则可以称机器具备意识。也有理论认为，可以不追究机器的内心，仅仅把机器当作行为体，从机器的行为表现判断它是否理解所做事情的意义。“比如机器人看到人类喝咖啡后很精神，下次当它观察到人类的疲惫，能不能想到要为人类煮一杯咖啡？”段伟文说。
但在段伟文看来，这些对机器意识进行重新定义的理论，其问题出在，即便能够证明机器可以交互对话、深度理解，但是否等同于具备自主意识尚未有定论。“以LaMDA为例，虽然能够生成在人类看来更具意义的对话，甚至人可以与机器在对话中产生共情，但其本质仍然是在数据采集、配对、筛选机制下形成的反馈，并不代表模型能够理解对话的意义。”
换言之，即便人工智能可以对人类的语言、表情所传递的情绪作出判断，但这主要应用的是自然语言处理、计算机视觉等技术。
郭雨晨直言，尽管在情感计算方面，通过深度学习的推动已经发展得比较好，但如果就此说人工智能具备意识还有些一厢情愿。“把‘意识’这个词换成‘功能’，我会觉得更加准确。”
技术换道
有专家提出，若要机器能思考，先要解决人工智能发展的换道问题。
据了解，目前基于深度学习、由数据驱动的人工智能在技术上已经触及天花板。一个突出例证是，阿尔法围棋（AlphaGo）在击败人类围棋世界冠军后，虽然财力和算力不断投入，但深度学习的回报率却没有相应增长。
一般认为，人工智能可被分为弱人工智能、通用人工智能和超级人工智能。弱人工智能也被称为狭义人工智能，专攻某一领域；通用人工智能也叫强人工智能，主要目标是制造出一台像人类一样拥有全面智能的计算机；超级人工智能类似于科幻作品中拥有超能力的智能机器人。
从产业发展角度看，人工智能在弱人工智能阶段停留了相当长时间，正在向通用人工智能阶段迈进。受访专家表示，目前尚未有成功创建通用人工智能的成熟案例，而具备自主意识，至少需要发展到通用人工智能阶段。
梁正说，大模型、大数据的驱动让人工智能在对话的自然度、趣味性上有了很大突破，但距离具备自主意识还很远。“如果你给这类语言模型喂养大量关于内省、想象等与意识有关的数据，它便更容易反馈与意识有关的回应。”
不仅如此，现阶段的人工智能在一个复杂、专门的领域可以做到极致，却很难完成一件在人类看来非常简单的事情。“比如人工智能可以成为围棋高手，却不具备三岁小孩对陌生环境的感知能力。”段伟文说。
谈及背后原因，受访专家表示，第一是当前人工智能主要与符号世界进行交互，在对物理世界的感知与反应上发展缓慢。第二是数据学习让机器只能对见过的内容有合理反馈，无法处理陌生内容。第三是在数据驱动技术路线下，人们通过不断调整、优化参数来强化机器反馈的精准度，但这种调适终究有限。
郭雨晨说，人类在特定任务的学习过程中接触的数据量并不大，却可以很快学习新技能、完成新任务，这是目前基于数据驱动的人工智能所不具备的能力。
梁正强调，不同于当前主要依赖大规模数据训练的技术路线，新一代人工智能强调在没有经过数据训练的情况下，可以通过推理作出合理反应，从而与没有见过、没有学过的事物展开交互。
相比人类意识的自由开放，以往人工智能更多处在封闭空间。尽管这个空间可能足够大，但若超出设定范畴便无法处理。而人类如果按照规则不能解决问题，就会修改规则，甚至发明新规则。
这意味着，如果人工智能能够超越现有学习模式，拥有对自身意识系统进行反思的能力，就会理解自身系统的基本性质，就有可能改造自身的意识系统，创造新规则，从而成为自己的主人。
“人工智能觉醒”背后
有关“人工智能觉醒”的讨论已不鲜见，但谷歌迅速否认的态度耐人寻味。
梁正表示：“如果不迅速驳斥指认，会给谷歌带来合规性方面的麻烦。”
据了解，关于人工智能是否有自主意识的争论并非单纯技术领域的学术探讨，而关乎企业合规性的基本坚守。一旦认定公司研发的人工智能系统出现自主意识，很可能会被认为违反第2版《人工智能设计的伦理准则》白皮书的相关规范。
这一由美国电气和电子工程师协会2017年发布的规范明确：“根据某些理论，当系统接近并超过通用人工智能时，无法预料的或无意的系统行为将变得越来越危险且难以纠正。并不是所有通用人工智能级别的系统都能够与人类利益保持一致，因此，当这些系统的能力越来越强大时，应当谨慎并确定不同系统的运行机制。”
梁正认为，为避免社会舆论可能的过度负面解读，担心大家认为它培育出了英国作家玛丽·雪莱笔下的弗兰肯斯坦式的科技怪物，以“不作恶”为企业口号的谷歌自然会予以否认。“不仅如此，尽管这一原则对企业没有强制约束力，但若被认为突破了底线，并对个体和社会造成实质性伤害，很有可能面临高额的惩罚性赔偿，因此企业在合规性方面会更为谨慎。”
我国也有类似管理规范。2019年，国家新一代人工智能治理专业委员会发布《新一代人工智能治理原则——发展负责任的人工智能》，提出人工智能治理的框架和行动指南。其中，“敏捷治理”原则主要针对技术可能带来的新社会风险展开治理，强调治理的适应性与灵活性。
中国信息化百人会成员、清华大学教授薛澜在接受媒体采访时表示，当前人工智能治理面临的最大挑战，是我们没有一套比较成熟的体系来规制其潜在的风险。特别是在第四次工业革命背景下，我国的人工智能技术和其他国家一样都处于发展期，没有现成的规制体系，这样就使得我们在发展科技的同时，必须同步发展我们的规制体系。“这可能是人工智能发展面临最大的挑战。”
在梁正看来，目前很难断言新兴人工智能技术具有绝对风险，但必须构造合理的熔断、叫停机制。在治理中既要具有一定的预见性，又不能扼杀创新的土壤，要在企业诉求和公共安全之间找到合适的平衡点。
毕竟，对人类来说，发展人工智能的目的不是把机器变成人，更不是把人变成机器，而是解决人类社会发展面临的问题。
从这个角度来说，我们需要的或许只是帮助人类而不是代替人类的人工智能。
为了人机友好的未来
确保通用人工智能技术有益于人类福祉，一直是人工智能伦理构建的前沿。
薛澜认为，在科技领域，很多技术都像硬币的两面，在带来正面效应的同时也会存在风险，人工智能就是其中一个比较突出的领域。如何在促进技术创新和规制潜在风险之间寻求平衡，是科技伦理必须关注的问题。
梁正提出，有时技术的发展会超越人们预想的框架，在不自觉的情况下出现与人类利益不一致甚至相悖的情况。著名的“曲别针制造机”假说，即描述了通用人工智能在目标和技术都无害的情况下，对人类造成威胁的情景。
“曲别针制造机”假说给定一种技术模型，假设某个人工智能机器的终极目标是制造曲别针，尽管看上去这一目的对人类无害，但最终它却使用人类无法比拟的能力，把世界上所有资源都做成了曲别针，进而对人类社会产生不可逆的伤害。
因此有观点认为，创造出法力高超又杀不死的孙悟空本身就是一种不顾后果的冒险行为。
与其对立的观点则认为，目前这一担忧为时尚早。
“我们对到底什么样的技术路线能够发展出具备自主意识的人工智能尚无共识，现在谈论‘禁止发展’，有种空中楼阁的意味。”梁正说。
商汤科技智能产业研究院院长田丰告诉《瞭望》新闻周刊，现实中人工智能技术伦理风险治理的关键，是产业能够在“预判防范-应用场景-用户反馈-产品改进”中形成市场反馈机制，促成伦理风险识别与敏捷治理。同时，企业内部也需建立完整的科技伦理自律机制，通过伦理委员会、伦理风控流程平台将伦理风险把控落实到产品全生命周期中。
郭雨晨说，人工智能技术发展到目前，仍始终处于人类可控状态，而科技发展的过程本来就伴随对衍生问题的预判、发现和解决。“在想象中的人工智能自主意识出现以前，人工智能技术脚踏实地的发展，已经造福人类社会很多年了。”
在梁正看来，人与人工智能在未来会是一种合作关系，各自具备对方无法达成的能力。“技术归根结底是由人类来发展和把控的。人类和人工智能的未来，是由人类选择的。”□
长沙华夏实验学校学生和机器狗互动（2022年6月22日摄）薛宇舸摄/本刊