中国关于加强人工智能伦理治理的立场文件
一、人工智能作为最具代表性的颠覆性技术，在给人类社会带来潜在巨大发展红利的同时，其不确定性可能带来许多全球性挑战，甚至引发根本性的伦理关切。在伦理层面，国际社会普遍担心如不加以规范，人工智能技术的误用滥用恐将损害人的尊严和平等、侵犯人权和基本自由、加剧歧视和偏见、冲击现有法律体系等，并对各国政府管理、国防建设、社会稳定其至全球治理产生深远影响。
中国始终致力于在人工智能领域构建人类命运共同体，积极倡导“以人为本”和“智能向善”理念，主张增进各国对人工智能伦理问题的理解，确保人工智能安全、可靠、可控，更好赋能全球可持续发展，增进全人类共同福祉。为实现这一目标，中国呼吁各方秉持共商共建共享理念，推动国际人工智能伦理治理。
二、2021年12月，中国发布《关于规范人工智能军事应用的立场文件》，呼吁各方遵守国家或地区人工智能伦理道德准则。中国现结合自身在科技伦理领域的政策实践，参考国际社会相关有益成果，从人工智能技术监管、研发、使用及国际合作等方面提出以下主张：
（一）监管
各国政府应坚持伦理先行，建立并完善人工智能伦理准则、规范及问责机制，明确人工智能相关主体的职责和权力边界，充分尊重并保障各群体合法权益，及时回应国内和国际相关伦理关切。
各国政府应重视人工智能伦理与法律的基础理论问题研究,逐步建立并完善人工智能伦理规范、法律法规和政策体系，形成人工智能伦理指南，建立科技伦理审查和监管制度，加强人工智能安全评估和管控能力。
各国政府应增强底线思维和风险意识，加强研判人工智能技术的潜在伦理风险，逐步建立有效的风险预警机制，采取敏捷治理，分类分级管理，不断提升风险管控和处置能力。
各国政府应立足自身人工智能发展阶段及社会文化特点，遵循科技创新规律，逐步建立符合自身国情的人工智能伦理体系，健全多方参与、协同共治的人工智能伦理治理体制机制。
（二）研发
各国政府应要求研发主体加强对人工智能研发活动的自我约束，主动将伦理道德融入人工智能研发过程各环节，避免使用可能产生严重消极后果的不成熟技术，确保人工智能始终处于人类控制之下。
各国政府应要求研发主体努力确保人工智能研发过程的算法安全可控，在算法设计、实现、应用等环节，不断提升透明性、可解释性、可靠性，逐步实现可审核、可监督、可追溯、可预测、可信赖。
各国政府应要求研发主体努力提升人工智能研发过程的数据质量，在数据收集、存储、使用等环节，严格遵守所在国的数据安全规定、伦理道德及相关法律标准，提升数据的完整性、及时性、一致性、规范性和准确性等。
各国政府应要求研发主体加强对数据采集和算法开发伦理审查，充分考虑差异化诉求，避免可能存在的数据采集与算法偏见,努力实现人工智能系统的普惠性、公平性和非歧视性。
（三）使用
各国政府应禁止使用违背法律法规、伦理道德和标准规范的人工智能技术及相关应用，强化对已使用的人工智能产品与服务的质量监测和使用评估，研究制定应急机制和损失补偿措施。
各国政府应加强人工智能产品与服务使用前的论证和评估，推动人工智能伦理培训机制化，相关人员应充分了解人工智能技术的功能、特点、局限、潜在风险及后果，并具备必要的专业素质与技能。
各国政府应保障人工智能产品与服务使用中的个人隐私与数据安全，严格遵循国际或区域性规范处理个人信息，完善个人数据授权撤销机制，反对非法收集利用个人信息。
各国政府应重视公众人工智能伦理教育，保障公众知情权与有效参与，发挥科技相关社会团体作用，引导社会各界自觉遵守人工智能伦理准则与规范，提高人工智能伦理意识。
（四）国际合作
各国政府应鼓励在人工智能领域开展跨国家、跨领域、跨文化交流与协作，确保各国共享人工智能技术惠益，推动各国共同参与国际人工智能伦理重大议题探讨和规则制定，反对构建排他性集团、恶意阻挠他国技术发展的行为。
各国政府应加强对人工智能领域国际合作研究活动的伦理监管，相关科技活动应符合各方所在国家的人工智能伦理管理要求，并通过相应的人工智能伦理审查。
中国呼吁国际社会在普遍参与的基础上就人工智能伦理问题达成国际协议，在充分尊重各国人工智能治理原则和实践的前提下，推动形成具有广泛共识的国际人工智能治理框架和标准规范。
我们该如何应对人工智能带来的伦理挑战
返回基金会动态列表>我们该如何应对人工智能带来的伦理挑战？作为第四次科技革命和产业变革的重要推动力量，人工智能技术正以一种迅猛发展的态势，推动社会生产力水平的整体跃升。然而，人工智能在为经济发展与社会进步带来重大发展机遇的同时，也会带来一系列伦理风险和挑战。
人工智能的广泛应用对人类社会的不同领域的伦理存在有什么影响？
我们应该制定什么政策来前瞻性地应对人工智能可能带来的伦理挑战？
2022年4月25日，中国发展研究基金会《人工智能时代的伦理：关系视角的审视》报告发布会线上举办，中国发展研究基金会副秘书长俞建拖介绍报告主要内容，多名相关专家学者以报告为基础，围绕上述议题展开深入探讨。
人工智能的伦理影响
《人工智能时代的伦理：关系视角的审视》（下称“报告”）从关系论视角出发，对人类智能、社会与伦理进行概述，解读关系论下人工智能伦理讨论框架，同时从市场经济、家庭、一般社会、国家和社会、国际关系、人与自然六方面分析人工智能的伦理影响，并在此基础上提出面向未来人工智能伦理发展的建议。
报告指出，人工智能在经济社会生活中的全面渗入有助于促进个人和组织的赋能，促进弱势群体的社会参与，扩展人的机会空间和自由，促进经济的繁荣，减少绝对贫困和剥夺，这些可以视为伦理增益。但是，人工智能的使用可能也会带来一系列伦理风险和挑战，包括失控风险、恶意使用、适应性风险、认知风险等，这些风险在不同的领域有不同的表现。
市场经济方面，人工智能在改善劳工工作环境、维护人的尊严、促进人力资本积累和经济繁荣等方面有积极作用，但同时也存在垄断、过度榨取消费者剩余、劳动力替代、阶层分化和固化等问题，并有可能深刻影响市场经济中的雇佣关系、竞争关系、合作模式、所有关系（所有权）以及相关的伦理规范。
家庭关系方面，人工智能的积极成果是使得一些家庭成员得以被解放，从而可以从事对家庭福祉更有益的事，但功能的疏解可能会使家庭成员之间的关系更加疏远、联系更松散。
随着社会需求的多样化，可能会出现人工智能扮演家庭成员角色的需求，如人工智能儿童、人工智能伴侣、人工智能长辈等，当人工智能开始介入家庭内部人际关系，原来用来规范人类家庭成员的伦理很难再直接适用，而且关系身份的传递也可能导致认知上的混乱。
社会伦理关系方面，一方面，人工智能广泛使用，可能会根本上重塑组织性互动，比如学校作为最重要的伦理再生产组织的教学理念、教学内容、教学方式也有可能发生重要变化。
而在一般非组织性的社会活动中，人工智能的应用以及数据信息环境的改变，社会可能更难在什么是真相和真实知识上达成共识，人们更容易陷入“信息茧房”，机器决策可能会产生“无用阶级”，“大数据+人工智能”对个人隐私侵犯也可能会逼迫人们采取面具化生存策略。
国家和社会层面，人工智能可以被广泛用于公共管理以及公共服务供给，使国家治理变得更加具有公平公正、民主参与、透明、负责任以及高效，促进国家的善治。
但是随着人工智能时代的到来以及虚拟生活方式的普遍流行，国家认同可能会被削弱，机器人税和普遍基本收入会被越来越多的考虑，但是也引发政府规模和权力的扩大，以及随之而来的政府与社会关系的调整，譬如公民对政府的高度依赖、政府社会监控的强化以及个人自由空间的压缩等。
来源：央视网
国际关系层面，人工智能正在成为大国竞争的胜负手和重要领域。从全球实现可持续发展目标的需求看，人工智能可以发挥重要的作用，但是地缘政治竞争的加剧可能会制约其潜能的发挥。人工智能在发达国家的开发和应用，也可能导致全球价值链发展趋势被重置，导致发展中国家被边缘化以及对发达国家的依附。
人工智能在军事领域的应用，包括智能武器的开发与部署、智能军事决策系统、非常规智能战争等，可能会引发军事战略的根本性变革，给国际秩序带来巨大的不确定性。
人与自然关系方面，人工智能的发展对提高资源的利用效率和减少攫取、减少对环境的破坏、更好地顺应和应对自然界挑战具有重要的意义。但是人工智能的发展也可能助长人类创造的雄心，特别是人工智能在生物改造领域的应用，对既有生态体系的影响具有很大的不确定性。
真知灼见：如何应对人工智能可能带来的伦理挑战？
来源：央视网
报告发布会上，北京大学哲学系教授何怀宏指出人工智能是一种区别于传统人造物的机器，其能力对人类而言还有很多未被发掘的部分，我们应该进一步思考人和人工智能这一特殊关系，思考如何促进人工智能发展、人工智能如何给人类赋能、如何深入具体地将人工智能运用到各个领域、以及人工智能的运用会带来哪些新的问题。
中国社会科学院哲学所科技哲学研究员、中国社会科学院科学技术和社会研究中心主任段伟文探讨了人工智能伦理治理的主体问题。他指出，当前实践人工智能领域的伦理规范主要是以科技公司为主体，政府也应积极的参与到该领域的伦理治理中，扮演积极的角色，更加灵活地进行适应性治理。
暨南大学教授、海国图智研究院院长陈定定认为当前社会的主要问题是伦理规范泛滥和冲突，应该建立一个通用的、全面的人工智能伦理规范。
武汉大学计算机学院教授、卓尔智联研究院执行院长蔡恒进指出，未来三五年内人工智能会有重大突破，元宇宙和Web3.0可以看作是人工智能的重要进展。在Web3.0时代，个体、企业、国家将会成为机器节点并融合为超级智能，这有可能会对社会伦理关系产生影响。
北京大学法学院副教授、北京大学法律人工智能研究中心副主任江溯指出，随着智能性技术广泛使用，社会可能会慢慢变成“全景敞视监狱”，个人的自由空间可能会被压缩。我们应该在法律领域探讨相关问题，研判人工智能应用的法律限度并加以约束。
人工智能的伦理挑战
控制论之父维纳在他的名著《人有人的用处》中曾在谈到自动化技术和智能机器之后，得出了一个危言耸听的结论：“这些机器的趋势是要在所有层面上取代人类，而非只是用机器能源和力量取代人类的能源和力量。很显然，这种新的取代将对我们的生活产生深远影响。”维纳的这句谶语，在今天未必成为现实，但已经成为诸多文学和影视作品中的题材。《银翼杀手》《机械公敌》《西部世界》等电影以人工智能反抗和超越人类为题材，机器人向乞讨的人类施舍的画作登上《纽约客》杂志2017年10月23日的封面……人们越来越倾向于讨论人工智能究竟在何时会形成属于自己的意识，并超越人类，让人类沦为它们的奴仆。
一
维纳的激进言辞和今天普通人对人工智能的担心有夸张的成分，但人工智能技术的飞速发展的确给未来带来了一系列挑战。其中，人工智能发展最大的问题，不是技术上的瓶颈，而是人工智能与人类的关系问题，这催生了人工智能的伦理学和跨人类主义的伦理学问题。准确来说，这种伦理学已经与传统的伦理学旨趣发生了较大的偏移，其原因在于，人工智能的伦理学讨论的不再是人与人之间的关系，也不是与自然界的既定事实（如动物，生态）之间的关系，而是人类与自己所发明的一种产品构成的关联，由于这种特殊的产品——根据未来学家库兹威尔在《奇点临近》中的说法——一旦超过了某个奇点，就存在彻底压倒人类的可能性，在这种情况下，人与人之间的伦理是否还能约束人类与这个超越奇点的存在之间的关系？
实际上，对人工智能与人类之间伦理关系的研究，不能脱离对人工智能技术本身的讨论。在人工智能领域，从一开始，准确来说是依从着两种完全不同的路径来进行的。
首先，是真正意义上的人工智能的路径，1956年，在达特茅斯学院召开了一次特殊的研讨会，会议的组织者约翰·麦卡锡为这次会议起了一个特殊的名字：人工智能（简称AI）夏季研讨会。这是第一次在学术范围内使用“人工智能”的名称，而参与达特茅斯会议的麦卡锡和明斯基等人直接将这个名词作为一个新的研究方向的名称。实际上，麦卡锡和明斯基思考的是，如何将我们人类的各种感觉，包括视觉、听觉、触觉，甚至大脑的思考都变成称作“信息论之父”的香农意义上的信息，并加以控制和应用。这一阶段上的人工智能的发展，在很大程度上还是对人类行为的模拟，其理论基础来自德国哲学家莱布尼茨的设想，即将人类的各种感觉可以转化为量化的信息数据，也就是说，我们可以将人类的各种感觉经验和思维经验看成是一个复杂的形式符号系统，如果具有强大的信息采集能力和数据分析能力，就能完整地模拟出人类的感觉和思维。这也是为什么明斯基信心十足地宣称：“人的脑子不过是肉做的电脑。”麦卡锡和明斯基不仅成功地模拟出视觉和听觉经验，后来的特里·谢伊诺斯基和杰弗里·辛顿也根据对认知科学和脑科学的最新进展，发明了一个“NETtalk”的程序，模拟了类似于人的“神经元”的网络，让该网络可以像人的大脑一样进行学习，并能够做出简单的思考。
然而，在这个阶段中，所谓的人工智能在更大程度上都是在模拟人的感觉和思维，让一种更像人的思维机器能够诞生。著名的图灵测试，也是在是否能够像人一样思考的标准上进行的。图灵测试的原理很简单，让测试一方和被测试一方彼此分开，只用简单的对话来让处在测试一方的人判断，被测试方是人还是机器，如果有30%的人无法判断对方是人还是机器时，则代表通过了图灵测试。所以，图灵测试的目的，仍然在检验人工智能是否更像人类。但是，问题在于，机器思维在作出自己的判断时，是否需要人的思维这个中介？也就是说，机器是否需要先绕一个弯路，即将自己的思维装扮得像一个人类，再去作出判断？显然，对于人工智能来说，答案是否定的，因为如果人工智能是用来解决某些实际问题，它们根本不需要让自己经过人类思维这个中介，再去思考和解决问题。人类的思维具有一定的定势和短板，强制性地模拟人类大脑思维的方式，并不是人工智能发展的良好选择。
二
所以，人工智能的发展走向了另一个方向，即智能增强（简称IA）上。如果模拟真实的人的大脑和思维的方向不再重要，那么，人工智能是否能发展出一种纯粹机器的学习和思维方式？倘若机器能够思维，是否能以机器本身的方式来进行。这就出现了机器学习的概念。机器学习的概念，实际上已经成为发展出属于机器本身的学习方式，通过海量的信息和数据收集，让机器从这些信息中提出自己的抽象观念，例如，在给机器浏览了上万张猫的图片之后，让机器从这些图片信息中自己提炼出关于猫的概念。这个时候，很难说机器自己抽象出来的猫的概念，与人类自己理解的猫的概念之间是否存在着差别。不过，最关键的是，一旦机器提炼出属于自己的概念和观念之后，这些抽象的概念和观念将会成为机器自身的思考方式的基础，这些机器自己抽象出来的概念就会形成一种不依赖于人的思考模式网络。当我们讨论打败李世石的阿尔法狗时，我们已经看到了这种机器式思维的凌厉之处，这种机器学习的思维已经让通常意义上的围棋定势丧失了威力，从而让习惯于人类思维的棋手瞬间崩溃。一个不再像人一样思维的机器，或许对于人类来说，会带来更大的恐慌。毕竟，模拟人类大脑和思维的人工智能，尚具有一定的可控性，但基于机器思维的人工智能，我们显然不能作出上述简单的结论，因为，根据与人工智能对弈之后的棋手来说，甚至在多次复盘之后，他们仍然无法理解像阿尔法狗这样的人工智能如何走出下一步棋。
不过，说智能增强技术是对人类的取代，似乎也言之尚早，至少第一个提出“智能增强”的工程师恩格尔巴特并不这么认为。对于恩格尔巴特来说，麦卡锡和明斯基的方向旨在建立机器和人类的同质性，这种同质性思维模式的建立，反而与人类处于一种竞争关系之中，这就像《西部世界》中那些总是将自己当成人类的机器人一样，他们谋求与人类平起平坐的关系。智能增强技术的目的则完全不是这样，它更关心的是人与智能机器之间的互补性，如何利用智能机器来弥补人类思维上的不足。比如自动驾驶技术就是一种典型的智能增强技术，自动驾驶技术的实现，不仅是在汽车上安装了自动驾驶的程序，更关键地还需要采集大量的地图地貌信息，还需要自动驾驶的程序能够在影像资料上判断一些移动的偶然性因素，如突然穿过马路的人。自动驾驶技术能够取代容易疲劳和分心的驾驶员，让人类从繁重的驾驶任务中解放出来。同样，在分拣快递、在汽车工厂里自动组装的机器人也属于智能增强类性质的智能，它们不关心如何更像人类，而是关心如何用自己的方式来解决问题。
三
这样，由于智能增强技术带来了两种平面，一方面是人类思维的平面，另一方面是机器的平面，所以，两个平面之间也需要一个接口技术。接口技术让人与智能机器的沟通成为可能。当接口技术的主要开创者费尔森斯丁来到伯克利大学时，距离恩格尔巴特在那里讨论智能增强技术已经有10年之久。费尔森斯丁用犹太神话中的一个形象——土傀儡——来形容今天的接口技术下人与智能机器的关系，与其说今天的人工智能在奇点临近时，旨在超越和取代人类，不如说今天的人工智能技术越来越倾向于以人类为中心的傀儡学，在这种观念的指引下，今天的人工智能的发展目标并不是产生一种独立的意识，而是如何形成与人类交流的接口技术。在这个意义上，我们可以从费尔森斯丁的傀儡学角度来重新理解人工智能与人的关系的伦理学，也就是说，人类与智能机器的关系，既不是纯粹的利用关系，因为人工智能已经不再是机器或软件，也不是对人的取代，成为人类的主人，而是一种共生性的伙伴关系。当苹果公司开发与人类交流的智能软件Siri时，乔布斯就提出Siri是人类与机器合作的一个最朴实、最优雅的模型。以后，我们或许会看到，当一些国家逐渐陷入老龄化社会之后，无论是一线的生产，还是对这些因衰老而无法行动的老人的照料，或许都会面对这样的人与智能机器的接口技术问题，这是一种人与人工智能之间的新伦理学，他们将构成一种跨人类主义，或许，我们在这种景象中看到的不一定是伦理的灾难，而是一种新的希望。
（作者：蓝江，系南京大学哲学系教授）
夏少昂：人工智能伦理问题的时代镜像与调适
人工智能技术自一出现，便伴随着伦理争议和道德评判。正因为人工智能发展前景的不确定性，及其可能导致的伦理后果难以预测，人们对人工智能问题争议不断。作为一种具有颠覆传统、重塑未来强大力量的技术，人工智能所带来的伦理问题已引起学界的广泛关注。如何准确把脉人工智能的时代镜像，透视人工智能发展的伦理风险，构建和谐共生的人机主体间性伦理新形态，是摆在我们面前亟须解决的一个重大时代课题。
人工智能时代的伦理问题
人工智能正处于蓬勃发展的大好机遇期，人类社会吁求高阶科学技术力量的伦理支撑。一方面，人工智能的发展离不开伦理反思的支撑作用；另一方面，人工智能又被称为伦理学科发展的新引擎。不断出现的人工智能伦理新问题，对于伦理学的发展提出了新的更高要求，丰富和拓展了伦理学研究的领域，这反过来又成为助力人工智能发展的重要精神因素。人工智能是一种全新的技术形态，通过语义网络、知识图谱、大数据及云计算等，极大地推动了社会生产力的迅猛发展，改变了人类生产生活方式，拓展了人类生存的意义与价值。依托于算法的人工智能技术，通过一系列的运算、反馈和调整，展现了人工智能的智能程度。以围棋的“人机大战”为例，“阿尔法狗”（AlphaGo）以其强大的计算能力战胜人类顶尖棋手李世石，并且通过“深度学习”的方法不断促进自身进步，完成了在部分领域对人类智能的超越。这种超越是人类利用科技力量延伸自身能力，以及追求提升自身价值的体现。另外，在日常生产生活领域，人工智能在增强人类能力的同时，也日益凸显出其对于人类自身解放的重要作用。
机遇与挑战并存，人工智能发展在取得巨大成就的同时，也面临着严峻的伦理挑战。从人与技术的关系来说，人工智能在一定程度上威胁着人的主体性。控制论之父维纳就曾预言：“这些机器的趋势是要在所有层面上取代人类，而非只是用机器能源和力量取代人类的能源和力量。”人工智能与一般人造物存在巨大不同，它不是单纯延伸人的体力的机械物。人工智能模拟的对象是人的大脑和思维方式。而人作为思维主体，是人之为人的本质所在。基于人工智能的特殊性，许多人担心一旦人工智能发展到某个临界点，如诞生强人工智能，它就可能解构人的主体地位，彻底压倒人类。从技术与社会的关系来看，如何有效控制技术力量的消极作用，是社会发展过程中日益凸显的难题。人工智能在给人类带来巨大利益的同时,也产生了诸多社会性问题。例如，企业可以借助人工智能收集大量用户数据，并基于此了解目标对象的偏好和行为倾向，这造成了巨大的权利不对称。再如，人工智能在推动专业化分工和创造新工作机会之余，会使得那些没有能力迈过技术性壁垒的人成为“无用阶级”。又如，在一些情境中，人工智能导致法律责任的归属成为困难。
伦理风险与挑战的学理透视
人工智能本质上是人类智慧和智能高度聚合的表现形式，是人类价值和意义在技术层面的展开与呈现。它所面临的伦理困境就是当前人类社会面临的伦理风险。首先，从人工智能的运行场域来看，伦理情境发生了深刻变革。越来越强大的人工智能的出现，催生了跨人类主义的伦理学问题，传统的伦理学旨趣与伦理情境已然发生重大变化。一是在创制人工智能的过程中，多元伦理理论并没有形成统一共识，从而在设计起点难以嵌入有效伦理规范，这极有可能造成对人工智能约束的失范。二是人工智能技术的强化，不仅逾越了自然的限制，而且很有可能逾越人的限制，进而成为主宰人、支配人、控制人的技术形式，将无法回应人类社会发展的伦理诉求。三是道德伦理编码嵌入人工智能的规范性结构时，既存在正当性辩护的困境，也存在法理性的质疑，这是对于传统伦理提出的新挑战。其次，从人类的伦理认知角度来看，正确认识人工智能的伦理地位，积极避免人工智能带来的伦理失范，是推进人工智能技术的前提。人工智能不仅仅是单纯的工具性“智能机器”，作为对人类智能的模仿或者模拟，其目标是成长为高阶智能形态，这要求必须在其中嵌入道德因子。随着人工智能的工具性力量日益增强，越应强化相关规范性价值，对技术能力的价值规范和伦理规范的强调，是进一步提升人工智能化水平的重要保障。最后，从人机关系的伦理模式来看，当前以人为主导的人机关系模式，具有单纯的规范性取向，即人类已有道德能力和水平决定了人工智能的道德能力建构水平。如果人类在道德问题的判别方面具有不确定性，再加之人类个体道德经验的有限性，那么人工智能造成的伦理冲突将表现得更加突出。
我们当前所面临的人工智能伦理风险，一方面是传统伦理情境、伦理形态面临着总体性困境，人工智能不断解构传统伦理，并在日渐紧张的伦理冲突中提出愈加迫切和急需解决的伦理问题；另一方面是人与自身造物之间关系模式面临解体与重塑，人类自身的伦理禀赋与人工智能的伦理地位之间存在着一定矛盾，特别是在技术力量全面突破人类智慧的时候，如果没有有效的伦理建构和调适，人类社会将会在“技术决定论”中迷失伦理和道德责任。
建构和谐共生的伦理关系
在推动人工智能技术发展水平的过程中，我们不仅在创制“提高人类劳作效率”的机器，也在创制“提升人类思维能力”的机器，更是在创制“契合人类伦理责任”的机器。为此，我们应顺应时代对人工智能发展的新要求，积极进行伦理调适。
其一，明确目标，厘清人机责任。人工智能的伦理调适，其终极目标在于增进人类利益，促进人类整体发展。只有将人工智能发展置于人类发展的历史高度，才有助于构建“人—机命运共同体”。一切都从人类利益出发，是人工智能伦理规范的最根本要求。所有创制人工智能的人类个体，必须把全人类共同利益放在第一位，并且在人机合作中重新定义人类利益，使其更加符合时代发展的新要求。与此同时，我们还必须厘清人机责任，这是责任伦理的重要体现。人工智能能够根据数据运算提供最优化行动方案，人类则会因为情感等直观因素作出情景类选择，这种行为模式生成途径的不同，决定了两者承担的责任伦理也必然存在差异。对于人工智能来说，其创制者、使用者、消费者，基于不同的情境承担着不同的责任伦理，这就要求我们从全过程角度重新诠释“人—机命运共同体”。
其二，制定原则，体现人文价值。人工智能作为一种技术发展到现在，其工具性一面有了长足的进步和体现。而在人工智能伦理挑战日益凸显的今天，必须在人工智能发展过程中厚植深厚人文价值尺度。首先，必须遵循开放合作原则。鼓励跨学科、跨领域、跨国界的交流合作，推动不同组织和部门及社会公众在人工智能发展与治理中的协调互动。开展国际交流对话与合作，在充分尊重各国人工智能治理原则的前提下，推动形成具有广泛共识的国际人工智能治理框架和标准规范。其次，必须谨守伦理底线。人工智能发展在很多领域事实上正不断突破界限、挑战伦理底线。在涉及伦理道德根本问题，如维护公平正义、保护隐私等时，必须谨慎对待人工智能越界可能带来的严重后果，该坚守住的底线一定要守住，该厘清的界限一定要厘清。最后，必须体现人的目的性。人工智能系统被设计和使用的全过程，始终都应与人类尊严、权利、自由和文化多样性理想一致。人工智能创造的繁荣局面，应被广泛地共享，惠及全人类。
其三，重构伦理形态，协同主体关系。传统伦理形态面临着时代性重构，人类思维和道德情境都在技术社会中被重新认识和改造，场域的深刻变化要求我们重构当代伦理形态。具体而言，重构人工智能时代伦理形态的核心在于构建人机协同合作新模式，这是基于合作化道德准则做出的化解伦理风险、重塑伦理意蕴的理性选择。通过自主学习和深度学习，引导人工智能在人机共生的基础上不断升级，进而提高道德责任能力。通过人工智能在相关伦理问题上的反馈结果，人类自身要提升理性反省和学习能力，从对人工智能道德的单向度要求，转向追求达成人机交互主体间的道德共识。人机之间的相互学习和伦理共鉴，能够不断丰富人机关系的时代内涵，在伦理调适中不断变革传统伦理形态，构建出主体间性的伦理新形态，最终实现人机和谐共生。（作者：夏少昂南京大学社会学院）
机器世界的风险和伦理问题：人类是人工智能发展的过渡阶段吗
关于人工智能的潜在危险及其对人类的“毁灭性”威胁的问题比比皆是。那么，这种仍然（如果确实是真的）笼罩在遥远地平线上的灾难性场景有可信度吗？
当机器超越人类并失控时，一系列科幻电影的噩梦就开始了。
机器学习教父之一、加拿大研究员约书亚·本吉奥在最近的一份声明中表示，“从我们拥有经久耐用的机器的那一刻起，我们就会遇到问题。”
数月前，联合国教科文组织呼吁世界各国落实其建议，暂停这些项目的开发六个月。该机构警告人类面临着巨大危险，并强调有必要“基于伦理”发展人工智能。
决定性时刻根据瑞典哲学家尼克·博斯特罗姆的说法，当机器知道如何自己制造其他机器时，决定性的时刻将会到来，从而引发“智能大爆炸”。
《超级智能》一书的作者博斯特罗姆在此前接受半岛电视台采访时认为，如果机器大脑在一般智能方面超越人类大脑，这种新的超级智能可能会取代人类成为地球上的主要生命形式。
根据所谓的“回形针理论”，博斯特罗姆提出了一个假设场景，他表示，例如，如果人工智能被编程为开发回形针生产并提供资源，它可能会以牺牲其他价值和优先级为代价将其他材料转换为回形针。比如，它可能会消耗大量的原材料和能源来提高产量，即使这会导致对人类和环境的伤害，甚至导致人类的灭绝。
牛津大学人类未来研究所创始主任、哲学家尼克·博斯特罗姆(社交网站)博斯特罗姆对人工智能危险的洞察在科学界极具影响力，它启发了特斯拉和SpaceX的负责人、亿万富翁埃隆·马斯克和2018年去世的物理学家斯蒂芬·霍金。
致命武器电影《终结者》中的被未来人工智能派出以结束所有人类抵抗的红眼机器人战士的形象在很多人的脑海中留下了深刻的印象。
但“制止杀手机器人”（StopKillerRobots）运动的专家们在2021年发布的一份报告中指出，这并不是未来几年自主武器将盛行的方式。
据半岛电视台此前报道，由于人工智能领域的快速发展，能够自动自主识别敌人的武器发展步伐正在加快，然后在没有军官指挥攻击或没有士兵扣动扳机的情况下，它会做出可能涉及杀人的现场决策。
预计随着时间的推移，这些机器将成为新的战争和军事行动的基础，被称为自主或致命武器系统，而它们的反对者则称之为“杀手机器人”。
算法：人工智能如何控制我们的生活？(半岛电视台)不那么黯淡的前景另一方面，加拿大滑铁卢大学的机器人学家克尔斯汀·道滕汉姆（KerstinDautenhahn）在接受法新社采访时保证，“人工智能不会让机器产生杀人的欲望。”
她说道，“机器人（本身）并不邪恶”，同时承认它的开发者可以对其进行编程来造成伤害。
在剑桥大学生存风险研究中心发布的宣传视频中，哲学家普莱斯预测：“最坏的情况是我们的物种可能会在没有后代的情况下灭亡”。
然而，通过先进技术增强人类生存可能性的“前景并不那么黯淡”。普莱斯补充道，“纯粹的生物物种最终都会灭绝”。
2014年，史蒂芬·霍金表示，我们的物种有一天将无法与机器竞争。霍金告诉BBC，这将“为人类的灭绝铺平道路”。
至于杰弗里·辛顿，一名正在为谷歌集团尝试制造类似人脑的机器的研究人员，他最近也发表了类似的言论，谈到了超越人类的“超级智能”。
辛顿告诉BBS，可能“人类只是人工智能发展的一个过渡阶段”。