人工智能的伦理挑战与科学应对
【光明青年论坛】
编者按
2023年2月21日，中国外交部正式发布《全球安全倡议概念文件》，呼吁“加强人工智能等新兴科技领域国际安全治理，预防和管控潜在安全风险”。在中国式现代化进程中，人工智能的技术革新是助推我国科技创新的重要力量之一。作为最具代表性的颠覆性技术，人工智能在给人类社会带来潜在巨大发展红利的同时，其不确定性也会带来诸多全球性挑战，引发重大的伦理关切。习近平总书记高度关注人工智能等新兴科技的发展，强调要加快提升“人工智能安全等领域的治理能力”，“塑造科技向善的文化理念，让科技更好增进人类福祉”。为此，本版特组织几位青年学者围绕人工智能的伦理挑战与科学应对展开讨论，并邀请专家予以点评，以期引发学界的更多关注，为推动人工智能健康发展贡献智慧。
与谈人
彭家锋 中国人民大学哲学院博士生
虞昊 华东师范大学政治与国际关系学院博士生
邓玉龙 南京师范大学哲学系博士生
主持人
刘永谋 中国人民大学哲学院教授、国家发展与战略研究院研究员
1.机遇与挑战并存的人工智能
主持人：新技术革命方兴未艾，以人工智能等为代表的新兴科技快速发展，大大拓展了时间、空间和人们的认知范围，人类正在进入一个“人机物”相融合的万物智能互联时代。请具体谈谈人工智能给人类社会发展带来什么样的机遇？
彭家锋：人工智能、大数据、物联网、云计算等智能技术蓬勃兴起，对人类社会的方方面面产生深刻影响，推动整个社会逐步迈入智能社会。在此过程中，存在许多重大历史机遇需要我们把握。就技术治理而言，人工智能作为一种治理技术，正在助推社会治理的治理理念、治理方式、治理效能等方面的变革，将传统技术治理提升至智能化新阶段，呈现出“智能治理的综合”趋势。智能治理将全面提升社会公共治理的智能化水平，主要呈现出四个方面的特征：一是治理融合化，即促进各种智能技术与其他治理技术相互融合，大幅度提升智能社会的治理水平；二是治理数据化，即以日益增长的海量数据为基础，通过对数据映射出来的“数字世界”进行社会计算，实现治理目标；三是治理精准化，即发挥智能技术强大的感知能力、传输能力和计算能力，将传统的粗放治理转变为精准治理；四是治理算法化，即不断完善智能决策系统，尝试将程序化的算法决策扩展到更多的决策活动中，从而提高决策质量。
虞昊：人工智能有助于反思人类社会得以建立与发展的基础。随着分析式AI向着生成式AI不断演变，尤其是生成式AI初步展现出判别问题、分析情感、展开对话、创作内容等越来越具有人类特征的功能，原本属于人类的领域正被人工智能以另一套由“0”与“1”构成的计算机语言逐步侵蚀。这既是对人类社会的冲击，也势必会在更加平等的开放性框架中增强人类的主体性，促进人类社会进一步发展。
邓玉龙：总体来说，以人工智能为代表的新科技发展，显著提升了社会生产力。例如，生成式AI不但能完成传统AI的分析、判断工作，还能进一步学习并完成分析式AI无法从事的创造性工作。从人机交互的角度来看，人工智能也促进了生产关系的高效发展。具体表现在：一是刺激劳动形态的转化。人工智能高效承担大量的基础机械性劳动，人类劳动则向高阶的创造性劳动转化，由此引发社会层面的劳动结构转型、升级，并且以人工智能为中介，社会范围内的劳动整合、协调能力也实现升级。二是促进劳动场域的重构。随着劳动形态的转化和劳动的社会化扩展，人工智能将劳动从固定场域中解放出来，人类劳动的灵活性增加。相比于创造性劳动，机械性劳动更加受到空间和时间的制约，而在人工智能从技术层面替代更低边际成本的基础性劳动之后，人类劳动空间和时间的自由性实现跃迁。三是对主体的发展提出了更高要求，尤其是对主体适应社会发展提出了更高要求。人工智能技术的发展对人类传统的知识结构提出挑战，要求人类更新原有的知识结构以适应社会发展需要，也对教育提出更高要求，教育模式和教育内容需要更契合科技发展的水平，培养更加全面发展的人才。
主持人：人工智能的一系列产物在给人们带来生活便利的同时，也一定程度上引起大家对其可能引发的伦理挑战的警惕。一些人关注人工智能的风险问题，对人工智能的推进有些焦虑。如何看待这种警惕和焦虑？
虞昊：人工智能的风险以及由此带来的焦虑，是完全可以理解的。但我们无法返回一个没有人工智能的世界，人工智能已然深度介入人类社会，试图遏制人工智能的推进只能是螳臂当车。同时我们对人工智能的发展也不能放任不管，无视甚至于压制人工智能的推进只能是掩耳盗铃。因此，我们应该正视这种焦虑，在发展人工智能的过程中探求解决方案，在人工智能带来的风险中寻求危中之机。
邓玉龙：我们应正确看待这种焦虑。要看到，焦虑有其积极的意义，它体现人类的忧患意识，催生对人工智能风险的预见性思考，提醒我们注意焦虑背后人工智能技术发展存在的问题。正确对待焦虑有助于积极采取措施防范风险，辩证分析焦虑中先见性的思考，通过社会治理模式的升级化解风险问题。同时，仅有焦虑和恐惧是不够的，更重要的是积极解决人工智能发展带来的社会问题。从劳动的角度看，人工智能确实会取代部分人类劳动，推动劳动结构转型升级，让劳动向着碎片化、个体化方向发展，劳动者处于弱势地位，面临着“机器换人”的挑战。但是我们也应该理性认识到，人工智能不是对人类劳动能力的完全替代，而是对劳动者提出了更高的要求，要求劳动者掌握科学知识，将技术的发展内化为自身能力，在更具创造性的劳动中实现自身价值。
彭家锋：任何技术的发明使用，不可避免地伴随着这样或那样的风险。人工智能技术自然也不例外，在其应用过程中，同样引发了诸如隐私泄露、算法歧视、法律责任等风险问题。因此，关注人工智能的风险问题，并由此对人工智能的推进产生焦虑，具有一定理论依据和现实基础。但更应当清醒地认识到，人工智能的某些相关风险可以提前得到规避，并不必然会发生；即便真的发生，也仍可不断寻求化解风险的有效手段。以个人隐私滥用风险为例，在治理过程中，虽然不可避免地会涉及个人数据收集和分析处理，但可以通过建立完整的规范和监管体系来保护个人隐私，降低滥用风险。
2.人工智能科技竞争的“伦理赛道”
主持人：习近平总书记在以视频方式出席二十国集团领导人第十五次峰会时指出，“中方支持围绕人工智能加强对话，倡议适时召开专题会议，推动落实二十国集团人工智能原则，引领全球人工智能健康发展”。请谈谈“人工智能原则”应包含哪些内容？科技向善的文化理念对推动全球人工智能健康发展具有怎样的现实价值？
彭家锋：为应对人工智能等新科技快速发展带来的伦理挑战，2022年，中共中央办公厅、国务院办公厅印发了《关于加强科技伦理治理的意见》，其中明确了“增进人类福祉”“尊重生命权利”“坚持公平公正”“合理控制风险”“保持公开透明”等五项科技伦理原则。我认为，这五项原则基本涵盖了人工智能原则的伦理要求，彰显了科技向善的文化理念。科技向善的文化理念，根本目标是让科技发展更好地服务社会和人民，带来良好社会或社会公益的善。科技向善对推动全球人工智能健康发展至少具有以下三个方面现实价值：一是塑造公众信任。公众对人工智能的信任很大程度上并不完全由相关风险程度决定，而是取决于公众的利益与价值是否得到足够重视。后者正是科技向善的内在要求。二是引领技术创新。科技向善的文化理念将在技术创新发展过程中发挥价值引领作用。三是促进全球合作。科技向善的文化理念试图在全球范围内建立人工智能伦理规范的“最大公约数”，各国在达成伦理共识的基础之上，能够建立互信，实现更加充分深入的国际合作。
虞昊：个人认为，人工智能原则也应包含非对抗与非失控的理念。非对抗意味着不应将人工智能视作人类社会的对抗性存在，人工智能已经成为人类社会的构成性要素，我们必须持更为开放的态度去面对人工智能。非失控意味着不应放弃对人工智能的伦理规范，应以智能的方式去规范加速发展的人工智能。如果以上述理念为前提，也就是说，在支持人工智能发展的情况下，科技向善的文化理念在推动全球人工智能健康发展中就变得极为重要。此处的“善”在国家治理层面即指向“善治”，而当人工智能的发展从国家范围扩展到全球范围，“善治”就在构建人类命运共同体的意义上拥有了更贴近现实的内涵。各国应摒弃冷战思维与零和博弈，基于善意与友谊共同思考人类作为整体如何在人工智能的冲击下通往全球性的“善治”。
邓玉龙：2019年欧盟发布《可信赖的人工智能伦理准则》，2021年中国国家新一代人工智能治理专业委员会发布《新一代人工智能伦理规范》（以下简称《规范》）。与欧盟发布的伦理准则相比，《规范》体现了中国特色社会主义的制度优势，旨在将伦理规范融入人工智能全生命周期。人工智能发展的根本目的是促进人的全面发展，因此，我以为，人工智能原则还应体现共享和有序发展的要求。共享，旨在防止人工智能的技术垄断。科技发展应该兼顾全体人民的利益，而不是服务于少数群体，由全体人民共享科技发展成果，推动全球科技水平的共同增长。有序发展，旨在防止人工智能技术的无序扩张。人工智能技术的发展最终是为了提升人的幸福感，推动科技有序发展能够促进人机和谐融合，有效预防潜在无序扩张的风险。
主持人：从规范层面来说，伦理反思对规范人工智能发展的作用主要体现在哪些方面？
彭家锋：近年来，世界各主要国家在人工智能领域竞争日趋激烈，纷纷将人工智能发展置于国家发展的战略层面。比如，美国陆续出台《国家人工智能研究和发展战略计划》（2016）和《关于维持美国在人工智能领域领导地位的行政命令》（2019）；欧盟先后发布《欧洲人工智能战略》（2018）和《人工智能白皮书》（2020）；中国也较早发布了《“互联网+”人工智能三年行动实施方案》（2016）和《新一代人工智能发展规划》（2017）。人工智能科技竞争的客观局面已然形成。在此背景下，如果忽视人工智能技术发展所带来的全球性风险与挑战，极有可能陷入技术赶超的竞争逻辑。因此，亟须规范人工智能的科技竞争，而倡导伦理反思或许就是一条可行之路。伦理反思的意义至少在于：一是设定伦理底线。人工智能技术的开发和应用需要遵循一些基本的价值理念和行为规范。只有守住伦理底线，才有可能避免颠覆性风险的发生。二是实现敏捷治理。伦理反思是一个动态、持续的过程，贯穿于人工智能科技活动的全生命周期。为了确保其始终服务于增进人类福祉和科技向善的初衷，需要保持应有的道德敏感性，以灵活、及时、有效的手段化解人工智能带来的各种伦理挑战，确保其在科技向善的道路上行稳致远，实现良性发展。
邓玉龙：人工智能科技竞争是为了促进科学技术发展，而科学技术发展的最终目的是推动人类社会的进步。人工智能科技竞争不应该仅包括技术竞争的单一维度，更不应该通过技术优势遏制他国的科技发展，而应该是在人工智能科技条件下的综合性竞争，通过良性竞争促进全球人工智能和全人类的共同发展。其中就应该包括社会治理竞争，通过社会治理保障社会公平，因而对社会中人与人关系的伦理反思构成人工智能科技竞争的有机组成部分。首先，伦理反思对人工智能科技竞争提出了更高的要求。人工智能的公平性、可信任性、可解释与透明度、安全性不仅是伦理要求，也代表了人工智能技术的发展方向，是人工智能科技竞争需要抢占的技术制高点。科技的发展是为了人的全面发展，因而人的发展内嵌于科技发展要求，伦理反思有助于防止工具主义的泛滥。其次，伦理反思为人工智能科技竞争提供价值引导。伦理反思注重保障人的权利，科技发展并不是社会发展中的唯一衡量因素，我们还应该关注其中多样性的因素，尤其注重保护特殊群体的利益，例如防止数据鸿沟等不良影响。伦理反思有助于实现人工智能的综合性健康发展。
3.人工智能安全与人的全面发展
主持人：科学探究一直以来都是人们认识世界和了解自身的重要认知方式，人工智能等信息产业的革命如何影响着人们的认知方式？
彭家锋：人工智能等信息产业的革命，促进了科学研究新范式——数据科学的诞生，进而对人们的认知方式产生深刻影响。数据科学被认为是继实验、理论和模拟之后的新的科研范式。相较于传统科学，数据科学融合了统计和计算思维，通过人工智能等技术提供的海量数据、强大算法和算力，能够直接从数据中寻找相关关系、提取相关性或者预测性知识，进而产生一种基于相关性的科学思维模式。但这种相关性并不一定能够转化为因果关系，因为可解释性对于从数据科学技术确定的相关性中提取因果解释至关重要，而相关技术一般都缺乏必要的透明度和可解释性。数据科学更可能成为一种预测科学，但是预测并不是科学追求的唯一目标。通过揭示世界的潜在因果结构来解释和干预现象，也是科学的两个重要目标。因此，尽管数据科学能够通过分析大量数据生成相关性知识，却不能直接产生因果解释。对此，传统科学的可检验性假设方法和因果规律探求仍有其重要价值。数据科学并非取代传统科学，相反，两者将相互补充，共同成为人类探索世界的有效工具。
虞昊：显而易见的是，随着人工智能向着通用人工智能迈进，其能够为人们提供的教育资源、生活娱乐、工作讯息也越来越丰富，人们势必越来越依赖于通过与人工智能进行交互来获取外界信息。因此，当人工智能深度地构成人们认知世界的滤镜时，若不对人工智能本身具有重复性、同质性倾向的认知框架保持警醒，人工智能可能扭曲人们的认知方式直至影响人的主体创造性。
邓玉龙：以人工智能为代表的全新技术发展被称为第四次工业革命，其中最显著的特征就是机器与人类的深度融合，机器不再作为一种外在性的工具被人类使用，而是在与人类的深度关联中影响人类的认知方式。一方面，信息产业革命丰富了人类认知的联结方式。人工智能和大数据技术的发展促进人类的分析逻辑从因果关系扩展为相关关系，对相关关系的重视使人工智能可以从大数据而非小数据维度获取信息，为人类认知提供新的视角。按照传统人类认知方式的理解，因果关系要求关于世界的认知是确定性的，而这在数字时代的复杂性社会中很难实现。人工智能对相关关系的认知填补了这一缺失，允许我们在无法掌握确定信息但在掌握大量数据的条件下对未来趋势作出预测。另一方面，如果我们对人工智能等科技的输出结果和生成内容盲目信赖，将结果和内容与经验事实之间进行绝对等同的连接，误认为是事实的全部，那么我们就会丧失人文主义抽象反思的能力，对此我们应当保持警惕，始终坚持反思和批判的人文精神。
主持人：如何调适人的主体创造性与信息高度集成共享之间的关系？
彭家锋：当人们逐渐将更多创造性工作交由人工智能完成，不免让人担忧人工智能是否将会威胁到人的主体创造性。从人机关系的角度来看，这种担忧是基于一种人机敌对论的视角，认为人工智能挤压了人的主体创造性空间，是替代逻辑的延续。但从人机协作的视角出发，将人工智能看作人的得力帮手，通过创造性地使用人工智能可以赋予人类更大的创造性空间。比如，在进行文字写作、多媒体脚本、程序代码、文稿翻译等工作时，可先由人工智能高水平地完成草稿工作，然后再由人类进行一些创造性的调整和发挥。此时人工智能生成的内容将成为进一步创作的原材料，人类将以更高的效率投入创造性活动之中。当然，要实现以上效果并非易事，不仅需要思想观念的转变，还应在制度安排、教育方式等方面作出相应调整。
虞昊：面对信息高度集成共享的人工智能，人有可能转变为算法的动物。试想下述场景：当依据人工智能展开行动变得足够便捷有效时，行动者便会倾向于采信人工智能，此时，看似是人类行动者基于自然语言在进行互动，实则是算法逻辑基于计算机语言在进行数字化运转。于是，人的主体创造性被侵蚀，人可能沦为算法动物。对此类情形，我们应该保持足够的清醒与警惕。
邓玉龙：人工智能技术生成的内容（AIGC）具有高度集成共享的特性，能够高效地对人类知识进行数据挖掘、信息生成。调适人的主体创造性与信息高度集成共享之间的关系，我们需做到如下几个方面：首先，需要通过人的创造性扩大AIGC数据库，当下AIGC主要是依赖于大语言模型，以大量的网络文本作为训练数据库生成的，通过人的创造性生成可以不局限于网络文本，而是进一步扩展数据库的训练文本，从而提高其丰富度。其次，需要通过人的创造性为AIGC提供价值训练，通过人的创造性生成的价值立场、伦理法则等与AIGC的训练数据库相融合，从而建构可信赖、可持续的信息高度集成共享机制。最后，需要将人创造性生成的内容与AIGC共同作为人类知识的来源，人类知识的获得不能仅仅局限于AIGC，而是需要人发挥其主体创造性对人工智能技术生成的内容进行反思和拓展，将人类无法被数据化的、经验性的知识与AIGC数据化的知识融合成为人类知识的来源。
（本版编辑张颖天整理）
人工智能可能有自主意识了吗
➤大模型、大数据的驱动让人工智能在对话的自然度、趣味性上有了很大突破，但距离具备自主意识还很远。换言之，即便人工智能可以对人类的语言、表情所传递的情绪作出判断，但这主要应用的是自然语言处理、计算机视觉等技术
➤不同于当前依赖数据学习的技术路线，新一代人工智能强调在没有经过数据学习的情况下，可以通过推理作出合理反应，从而与没有见过、没有学过的事物展开交互
➤当前人工智能治理面临的最大挑战，是我们没有一套比较成熟的体系来规制其潜在的风险。在发展科技的同时，必须同步发展我们的规制体系
➤“技术归根结底是由人类来发展和把控的。人类和人工智能的未来，是由人类选择的。”
今年6月，美国谷歌公司软件工程师布莱克·勒莫因称语言模型LaMDA出现自我意识。他认为，LaMDA拥有七八岁孩童的智力，并相信LaMDA正在争取自己作为一个人的权利。
LaMDA是谷歌去年发布的一款专门用于对话的语言模型，主要功能是可以与人类交谈。
为佐证观点，勒莫因把自己和LaMDA的聊天记录上传至互联网。随后，谷歌以违反保密协议为由对其停职。谷歌表示，没有任何证据支持勒莫因的观点。
事实上，“AI（人工智能）是否拥有自主意识”一直争议不休。此次谷歌工程师和LaMDA的故事，再次引发讨论。人们想知道：人工智能技术究竟发展到了怎样的阶段？是否真的具备自主意识？其判定依据是什么？未来我们又该以怎样的能力和心态与人工智能和谐共处？
人工智能自主意识之辨勒莫因认为LaMDA具有意识的原因有三：一是LaMDA以前所未有的方式高效、创造性地使用语言；二是它以与人类相似的方式分享感觉；三是它会表达内省和想象，既会担忧未来，也会追忆过去。
受访专家告诉《瞭望》新闻周刊记者，上述现象仅仅是因为LaMDA所基于的Transformer架构能够联系上下文，进行高精度的人类对话模拟，故能应对人类开放、发散的交谈。
至于人工智能是否已经具备自主意识，判定标准如何，受访专家表示，对人类意识的探索目前仍属于科技前沿，尚未形成统一定义。
清华大学北京信息科学与技术国家研究中心助理研究员郭雨晨说：“我们说人有自主意识，是因为人知道自己在干什么。机器则不一样，你对它输入内容，它只是依照程序设定进行反馈。”
中国社会科学院科学技术哲学研究室主任段伟文认为，一般意义上，人的自我意识是指对自我具备觉知，但如何认识和理解人类意识更多还是一个哲学问题而不是科学问题，这也是很难明确定义人工智能是否具备意识的原因。
被誉为“计算机科学与人工智能之父”的艾伦·图灵，早在1950年就曾提出图灵测试——如果一台机器能够与人类展开对话而不能被辨别出其机器身份，那么可以称这台机器具有智能。
这一设想随后被具化为，如果有超过30%参与测试的人以为自己在和人说话而非计算机，就可以认为“机器会思考”。
当前随着技术的发展，已经有越来越多的机器能够通过图灵测试。
但清华大学人工智能国际治理研究院副院长梁正告诉《瞭望》新闻周刊记者，图灵测试只能证明机器在表象上可以做到让人无法分辨它与人类的不同，却不能证明机器能够思考，更不能证明机器具备自主意识。
段伟文表示，目前大体有两种方式判定人工智能是否具有自主意识，一种以人类意识为参照，另一种则试图对机器意识进行全新定义。
若以人类意识为参照，要观察机器能否像人一样整合信息。“比如你在阳光下，坐在河边的椅子上看书，有树影落在脸上，有风吹来，它们会带给你一种整体的愉悦感。而对机器来说，阳光、河流、椅子等，是分散的单一元素。”段伟文说。
不仅如此，段伟文说，还要观察机器能否像人一样将单一事件放在全局中思考，作出符合全局利益的决策。
若跳出人类构建自主意识的范式，对机器意识进行重新定义，则需要明白意识的本质是什么。
段伟文告诉记者，有理论认为如果机器与机器之间形成了灵活、独立的交互，则可以称机器具备意识。也有理论认为，可以不追究机器的内心，仅仅把机器当作行为体，从机器的行为表现判断它是否理解所做事情的意义。“比如机器人看到人类喝咖啡后很精神，下次当它观察到人类的疲惫，能不能想到要为人类煮一杯咖啡？”段伟文说。
但在段伟文看来，这些对机器意识进行重新定义的理论，其问题出在，即便能够证明机器可以交互对话、深度理解，但是否等同于具备自主意识尚未有定论。“以LaMDA为例，虽然能够生成在人类看来更具意义的对话，甚至人可以与机器在对话中产生共情，但其本质仍然是在数据采集、配对、筛选机制下形成的反馈，并不代表模型能够理解对话的意义。”
换言之，即便人工智能可以对人类的语言、表情所传递的情绪作出判断，但这主要应用的是自然语言处理、计算机视觉等技术。
郭雨晨直言，尽管在情感计算方面，通过深度学习的推动已经发展得比较好，但如果就此说人工智能具备意识还有些一厢情愿。“把‘意识’这个词换成‘功能’，我会觉得更加准确。”
技术换道有专家提出，若要机器能思考，先要解决人工智能发展的换道问题。
据了解，目前基于深度学习、由数据驱动的人工智能在技术上已经触及天花板。一个突出例证是，阿尔法围棋（AlphaGo）在击败人类围棋世界冠军后，虽然财力和算力不断投入，但深度学习的回报率却没有相应增长。
一般认为，人工智能可被分为弱人工智能、通用人工智能和超级人工智能。弱人工智能也被称为狭义人工智能，专攻某一领域；通用人工智能也叫强人工智能，主要目标是制造出一台像人类一样拥有全面智能的计算机；超级人工智能类似于科幻作品中拥有超能力的智能机器人。
从产业发展角度看，人工智能在弱人工智能阶段停留了相当长时间，正在向通用人工智能阶段迈进。受访专家表示，目前尚未有成功创建通用人工智能的成熟案例，而具备自主意识，至少需要发展到通用人工智能阶段。
梁正说，大模型、大数据的驱动让人工智能在对话的自然度、趣味性上有了很大突破，但距离具备自主意识还很远。“如果你给这类语言模型喂养大量关于内省、想象等与意识有关的数据，它便更容易反馈与意识有关的回应。”
不仅如此，现阶段的人工智能在一个复杂、专门的领域可以做到极致，却很难完成一件在人类看来非常简单的事情。“比如人工智能可以成为围棋高手，却不具备三岁小孩对陌生环境的感知能力。”段伟文说。
谈及背后原因，受访专家表示，第一是当前人工智能主要与符号世界进行交互，在对物理世界的感知与反应上发展缓慢。第二是数据学习让机器只能对见过的内容有合理反馈，无法处理陌生内容。第三是在数据驱动技术路线下，人们通过不断调整、优化参数来强化机器反馈的精准度，但这种调适终究有限。
郭雨晨说，人类在特定任务的学习过程中接触的数据量并不大，却可以很快学习新技能、完成新任务，这是目前基于数据驱动的人工智能所不具备的能力。
梁正强调，不同于当前主要依赖大规模数据训练的技术路线，新一代人工智能强调在没有经过数据训练的情况下，可以通过推理作出合理反应，从而与没有见过、没有学过的事物展开交互。
相比人类意识的自由开放，以往人工智能更多处在封闭空间。尽管这个空间可能足够大，但若超出设定范畴便无法处理。而人类如果按照规则不能解决问题，就会修改规则，甚至发明新规则。
这意味着，如果人工智能能够超越现有学习模式，拥有对自身意识系统进行反思的能力，就会理解自身系统的基本性质，就有可能改造自身的意识系统，创造新规则，从而成为自己的主人。
“人工智能觉醒”背后有关“人工智能觉醒”的讨论已不鲜见，但谷歌迅速否认的态度耐人寻味。
梁正表示：“如果不迅速驳斥指认，会给谷歌带来合规性方面的麻烦。”
据了解，关于人工智能是否有自主意识的争论并非单纯技术领域的学术探讨，而关乎企业合规性的基本坚守。一旦认定公司研发的人工智能系统出现自主意识，很可能会被认为违反第2版《人工智能设计的伦理准则》白皮书的相关规范。
这一由美国电气和电子工程师协会2017年发布的规范明确：“根据某些理论，当系统接近并超过通用人工智能时，无法预料的或无意的系统行为将变得越来越危险且难以纠正。并不是所有通用人工智能级别的系统都能够与人类利益保持一致，因此，当这些系统的能力越来越强大时，应当谨慎并确定不同系统的运行机制。”
梁正认为，为避免社会舆论可能的过度负面解读，担心大家认为它培育出了英国作家玛丽·雪莱笔下的弗兰肯斯坦式的科技怪物，以“不作恶”为企业口号的谷歌自然会予以否认。“不仅如此，尽管这一原则对企业没有强制约束力，但若被认为突破了底线，并对个体和社会造成实质性伤害，很有可能面临高额的惩罚性赔偿，因此企业在合规性方面会更为谨慎。”
我国也有类似管理规范。2019年，国家新一代人工智能治理专业委员会发布《新一代人工智能治理原则——发展负责任的人工智能》，提出人工智能治理的框架和行动指南。其中，“敏捷治理”原则主要针对技术可能带来的新社会风险展开治理，强调治理的适应性与灵活性。
中国信息化百人会成员、清华大学教授薛澜在接受媒体采访时表示，当前人工智能治理面临的最大挑战，是我们没有一套比较成熟的体系来规制其潜在的风险。特别是在第四次工业革命背景下，我国的人工智能技术和其他国家一样都处于发展期，没有现成的规制体系，这样就使得我们在发展科技的同时，必须同步发展我们的规制体系。“这可能是人工智能发展面临最大的挑战。”
在梁正看来，目前很难断言新兴人工智能技术具有绝对风险，但必须构造合理的熔断、叫停机制。在治理中既要具有一定的预见性，又不能扼杀创新的土壤，要在企业诉求和公共安全之间找到合适的平衡点。
毕竟，对人类来说，发展人工智能的目的不是把机器变成人，更不是把人变成机器，而是解决人类社会发展面临的问题。
从这个角度来说，我们需要的或许只是帮助人类而不是代替人类的人工智能。
为了人机友好的未来确保通用人工智能技术有益于人类福祉，一直是人工智能伦理构建的前沿。
薛澜认为，在科技领域，很多技术都像硬币的两面，在带来正面效应的同时也会存在风险，人工智能就是其中一个比较突出的领域。如何在促进技术创新和规制潜在风险之间寻求平衡，是科技伦理必须关注的问题。
梁正提出，有时技术的发展会超越人们预想的框架，在不自觉的情况下出现与人类利益不一致甚至相悖的情况。著名的“曲别针制造机”假说，即描述了通用人工智能在目标和技术都无害的情况下，对人类造成威胁的情景。
“曲别针制造机”假说给定一种技术模型，假设某个人工智能机器的终极目标是制造曲别针，尽管看上去这一目的对人类无害，但最终它却使用人类无法比拟的能力，把世界上所有资源都做成了曲别针，进而对人类社会产生不可逆的伤害。
因此有观点认为，创造出法力高超又杀不死的孙悟空本身就是一种不顾后果的冒险行为。
与其对立的观点则认为，目前这一担忧为时尚早。
“我们对到底什么样的技术路线能够发展出具备自主意识的人工智能尚无共识，现在谈论‘禁止发展’，有种空中楼阁的意味。”梁正说。
商汤科技智能产业研究院院长田丰告诉《瞭望》新闻周刊，现实中人工智能技术伦理风险治理的关键，是产业能够在“预判防范-应用场景-用户反馈-产品改进”中形成市场反馈机制，促成伦理风险识别与敏捷治理。同时，企业内部也需建立完整的科技伦理自律机制，通过伦理委员会、伦理风控流程平台将伦理风险把控落实到产品全生命周期中。
郭雨晨说，人工智能技术发展到目前，仍始终处于人类可控状态，而科技发展的过程本来就伴随对衍生问题的预判、发现和解决。“在想象中的人工智能自主意识出现以前，人工智能技术脚踏实地的发展，已经造福人类社会很多年了。”
在梁正看来，人与人工智能在未来会是一种合作关系，各自具备对方无法达成的能力。“技术归根结底是由人类来发展和把控的。人类和人工智能的未来，是由人类选择的。”
编辑：李华山
2022年08月16日07:42:05