人工智能医疗器械的伦理问题 人工智能设计的伦理准则

人工智能医疗器械的伦理问题

摘要目的：梳理人工智能医疗器械的伦理现状与面临的问题，探讨医疗器械领域可遵循的人工智能伦理准则和发展原则。方法：查阅国内外已的人工智能伦理准则，国内外监管、医学伦理相关规范要求文件。结果与结论：人工智能医疗器械在发展与应用过程中仍面临着社会影响、个人数据保护、人工智能算法和医学伦理等问题。人工智能医疗器械在沿着推动医学人工智能伦理标准化、保持数据完整性方向发展的同时，还要保障数据隐私。

关键词：人工智能；伦理；医疗器械

人工智能（ArtificialIntelligence，缩写为AI）一词，在1956年的达特茅斯会议上被首次提出。人工智能作为新一轮产业变革的核心驱动力，已发展上升为国家战略，在自动驾驶、医疗、工业机器人以及教育、金融、互联网服务等领域得到越来越多的应用。在医疗领域的应用主要包括辅助诊断、辅助手术、临床辅助决策、患者信息管理等，对应的人工智能医疗器械产品主要包括独立的医疗软件、AI赋能医疗设备、医疗信息化系统（云医疗）几大类。随着以深度学习为代表的人工智能技术不断发展，我们在积极拥抱人工智能的同时，需要思考人工智能医疗器械在发展与使用过程中面临的伦理问题，充分认识人工智能医疗器械在数据获取、隐私保护等方面带来的影响。人工智能本身是技术而不是产品，医疗工作者使用的是被医疗人工智能赋能后的设备或者信息化系统，而不是使用人工智能技术本身。由人工智能发展所带来的伦理问题，在一定程度上可由设计开发者通过遵循一定的原则而规避，因此，在我国推动人工智能发展的关键时期，探讨人工智能发展应遵循的伦理准则，对人工智能的发展有着极为重要的意义。

1人工智能伦理准则及现状

1.1现阶段人工智能伦理共识

随着人工智能伦理的发展，目前国内外主要达成了两个影响较为广泛的人工智能伦理共识，一个是“阿西洛马人工智能原则”（AsilomarAIPrinciples），一个是国际电气电子工程师学会（IEEE）组织倡议的人工智能设计的伦理准则[1]。“阿西洛马人工智能原则”于2017年1月初在美国加利福尼亚州阿西洛马举行的BeneficialAI会议上被提出，阿西洛马人工智能原则是著名的阿西莫夫机器人学三定律的扩展版本。阿西洛马人工智能原则目前共23项，分为三大类，分别为科研问题（ResearchIssues）、伦理和价值（EthicsandValues）、更长期的问题（Longer-termIssues）[2]。其中涉及伦理方面的共13项，主要为1）安全性；2）故障透明性；3）司法透明性；4）责任；5）价值归属；6）人类价值观；7）个人隐私；8）自由和隐私；9）分享利益；10）共同繁荣；11）人类控制；12）非颠覆；13）人工智能军备竞赛。“阿西洛马人工智能原则”可以理解为人工智能不能单纯地为了利益而创造，而应该为了在确保人类不被替代的情况下通过自动化实现人类繁荣。保持一个尊重隐私但开放、合作的人工智能研究文化也是一个优先考虑的问题，以确保研究人员和政策制定者在彼此交换信息的同时，不会用危害人类的手段与对手竞争。国际电气电子工程师学会（IEEE）最早于2016年提出了“关于自主/智能系统伦理的全球倡议”，并于2016年12月和2017年12月在全球范围内先后了第一版和第二版的“人工智能设计的伦理准则”白皮书（"EthicallyAlignedDesign"）。该白皮书来自于IEEE自主与智能系统伦理全球倡议项目，在当前版本的《人工智能设计的伦理准则》（第2版）中，白皮书提出了一些相关的议题和建议，希望能够促进符合这些原则的国家政策和全球政策的制定。该伦理准则提出了5个核心应遵循原则[3]：1）人权：确保它们不侵犯国际公认的人权；2）福祉：在它们的设计和使用中优先考虑人类福祉的指标；3）问责：确保它们的设计者和操作者负责任且可问责；4）透明：确保它们以透明的方式运行；5）慎用：将滥用的风险降到最低。该人工智能伦理准则的旨在为IEEE正在推动的11个与人工智能伦理相关的标准制定提供建议。上述两项接受较为广泛的伦理共识，由来自人工智能/机器人研究领域的专家学者以及专业技术学会的研究人员讨论制定而成。同时，由于人工智能在产业发展中的战略性地位和应对人工智能伦理风险的迫切需要，许多国家政府机构、社会团体、产业界等也在制定适用于自身国情的人工智能伦理准则或指南，为人工智能相关企业提供风险把控、评估和应对的系统性指引。

1.2国外人工智能伦理发展现状

为了有效应对AI带来的新机遇，欧盟委员会于2019年4月8日以“建立对以人为本AI的信任”为题，了欧洲版的AI伦理准则。该伦理准则提出了“可信任AI”应当满足的7项关键要点[4]，具体包括1）人的自主和监督；2）可靠性和安全性；3）隐私和数据治理；4）透明度；5）多样性、非歧视性和公平性；6）社会和环境福祉；7）可追责性。欧盟委员会在人工智能方面布局已久，早在2018年12月欧盟委员会人工智能高级专家组就了《关于可信赖人工智能的伦理准则（草案）》（EthicsGuidelinesforTrustworthyAI），该草案为人工智能伦理提出了一个框架，给后续的欧洲版AI伦理准则奠定了基础[5]。国际计算机协会（ACM）下属美国公共政策委员会于2017年《算法透明性和可问责性声明》，提出了7项基本原则[6]：1）意识；2）获取和救济；3）责任制；4）可解释；5）数据来源保护；6）可审查性；7）验证和测试。该声明的重要部分要求开发人工智能的机构能够对算法的过程和特定的决策结果给予一定的解释，即人工智能算法的哪些输入特性会引起某个特定输出结果变化的可解释性。

1.3我国人工智能伦理发展现状

我国也已将人工智能上升为国家战略，在法律法规和政策体系进行了深入布局。国务院于2017年7月20日印发了《新一代人工智能发展规划》，在战略目标中对法律政策体系建设提出了三步走要求：到2020年，部分领域的人工智能伦理规范和政策法规初步建立；到2025年，初步建立人工智能法律法规、伦理规范和政策体系，形成人工智能安全评估和管控能力；到2030年，建成更加完善的人工智能法律法规、伦理规范和政策体系。规划要求围绕自动驾驶、服务机器人等应用基础较好的细分领域加快立法研究，重点解决人工智能下的民事与刑事责任确认、隐私和产权保护、信息安全利用、问责和追溯机制、潜在危险与评估等方面的法律问题[7]。2018年1月，国家人工智能标准化总体组成立，会上了《人工智能标准化白皮书（2018版）》，提出要依托于社会团体和公众对人工智能伦理进行深入思考和研究，并遵循一些共识原则：一是人类利益原则，即人工智能应以实现人类利益为终极目标；二是责任原则，在责任原则下，在技术开发方面应遵循透明度原则，在技术应用方面则应当遵循权责一致原则[1]。2019年4月，国家人工智能标准化总体组《人工智能伦理风险分析报告》，进一步明确了人类根本利益原则要从对社会的影响、人工智能算法、数据使用三个方面来考虑[8]。

2人工智能在医疗器械领域的伦理风险

从整体来看，现阶段人工智能在医疗器械领域的应用主要是医学图像AI技术和AI技术赋能硬件，例如目前大量涌现的“智能读片”类AI医疗软件，利用深度学习在具有代表性的医学影像数据库中进行模型训练（多层神经网络）[9]，利用这些模型来解析图像、文本、声音，从而实现对医学图像病症的早期筛查；目前的AI技术赋能硬件，通常内嵌于各类医学影像设备，在设备前期拍摄及后期图像处理过程中实现图像分割、目标检测、图像分类、图像映射、图像配准等功能[10-12]。上述人工智能还是实现特定功能的专用智能，并不能像人类智能那样拥有真正实现推理、思考和解决问题的能力，因此被叫做弱人工智能。与此对应的强人工智能则是达到类人水平的、能够自适应地应对外界环境挑战的、具有自我意识的人工智能[13]。强人工智能在哲学上存在巨大的争议（主要涉及思维与意识等根本问题的讨论），在技术上存在着极大的挑战，当前鲜有进展与应用，因此，考虑医疗领域人工智能的伦理风险，主要是以数据驱动类AI医疗器械产品为主，从社会影响、个人数据保护、人工智能算法和医学伦理四个方面来考虑其风险影响。

2.1对社会的影响

从现有伦理准则与共识来看，医疗人工智能伦理的标准化工作仍处于起步阶段，行业内对医疗人工智能的内涵、应用模式还未达成准确共识，由此带来的行业内竞争可能会造成人工智能技术在医疗领域的滥用，例如不考虑医学实际情况，在医学成像、病灶识别、手术规划等临床领域盲目使用人工智能技术。造成的结果：一是资源的浪费，目前绝大多数人工智能辅助诊疗结果仍需医生确认操作，这种AI产品是否具有临床意义仍有待商榷；二是增加了医生对先进人工智能产品的依赖性，随着科技的发展，传统诊疗方法将逐步向高科技辅助诊疗转变，而这类辅助诊疗产品往往集中在科技发达、财富集中的国家或地区，这将造成各地区的医疗资源、医疗水平不平衡，如何让每个地区的人都从人工智能创造的福祉中收益，这是需要思考的问题。

2.2个人数据保护风险

以深度学习+大数据为框架的医学人工智能系统需要大量的数据来训练学习算法。深度学习分为两个阶段：训练阶段和应用阶段。训练阶段的最大特点是数据驱动，一是需要大量的训练样本；二是所有样本需要明确的标注（金标准）；这就需要提高样本数据采集的效率和质量。目前，大多数人工智能产品的训练样本主要来自医院患者的各类医学影像数据，少部分来自于人类行为信息的数字化记录等。医学影像及患者行为信息涉及患者数据隐私的伦理问题，使用者在获取患者数据时必须要抹去个人敏感信息，只保留相关医学信息。关于敏感信息的定义、识别与处理，国内现在还没有明确的标准，主要依赖于企业的自觉，可供企业参考的数据隐私保护准则主要是欧盟在2018年5月生效的《欧洲通用数据保护条例》（GDPR）和美国国会于1996年的《健康保险可携带性与责任法案》（HIPAA）[14]。GDPR条例对个人数据、医学健康相关数据给出了明确定义，并对如何在保护数据主体权益的情况下开展工作做了详细说明[15]。HIPAA法案则既保护个人受保护的健康信息，又确保研究人员可以持续获得必要的医疗信息来进行研究，为达到这两点的平衡，HIPAA有3点重要规定[16]：1）对于不具备身份识别功能的健康信息，可以使用和披露给研究机构；2）在获得病人书面授权的情况下，可以因为研究目的而使用或披露病人受保护的健康信息；3）在某些特殊情况下，HIPAA也允许无须同意授权的信息共享，包括审查委员会或保密委员会批准的情况。

2.3算法方面的风险

在深度学习算法的应用阶段，也面临着诸多风险。一是安全性，算法存在泄漏、参数被非预期修改的情况，且现阶段的深度学习算法是一个典型的“黑箱”算法，当算法被修改时，算法性能的降低或错误的发生将很难被察觉到，医疗领域与人身安全息息相关，这样的风险造成的后果将直接侵害人身权益。二是算法偏见风险，算法的复杂性和专业性，在现阶段很难解释清楚人工智能算法输入的某些特性是如何引起某个特定输出结果发生的[17]，算法的偏见可能是程序员主观认知的偏差，也有可能是输入数据的分布本身不具有整体代表性，同时如果算法在临床应用中通过本地数据进行无监督学习，也有加重这些偏见的风险。

2.4医学伦理风险

对于医学人工智能产品的伦理思考，还应该纳入医学伦理范畴，考虑在医学伦理上如何进行患者隐私、数据保护等，这也是医疗类AI产品与一般AI产品在伦理方面的最大区别。在我国，获取医学临床数据、进行临床试验还必须获得医学伦理审批，医学方面的伦理监管主要依赖于伦理审查制度，而负责伦理审查的组织——伦理委员会则肩负着医学研究伦理审查、受试者权益保护、人的尊严维护等方面的重要职责[18]。原卫生部在1988年了《药品临床试验管理规范》[19]，于1995年出台了《卫生部临床药理基地管理指导原则》。随着生物医学科学技术与研究的飞速发展，在临床实践中遇到的伦理难题更为多样化，上述规范性文件已不能满足伦理审查的需求。原国家卫生和计划生育委员会在2016年了《涉及人的生物医学研究伦理审查办法》，该办法以涉及人的生物医学研究项目的伦理审查为重点，明确了医疗卫生伦理委员会的职责和任务，强化了对伦理委员会的监管[20]。2017年10月，中共中央办公厅、国务院办公厅印发了《关于深化审评审批制度改革鼓励药品医疗器械创新的意见》，提出要完善伦理委员会机制，提高伦理审查效率，其中重要一条是提出了区域伦理委员会职能，指导临床试验机构伦理审查工作。区域伦理委员会将肩负起解决多中心临床研究的伦理审查标准不一致、重复审查的问题，解决不具备伦理审查条件的机构直接发起的项目审查问题。当前医疗人工智能产品在样本数据采集与临床试验阶段都有可能面临医学伦理审查，就需要相关企业熟悉医学伦理规范文件，在产品开发与应用阶段遵守基本医学伦理原则[21]：1）知情同意原则；2）控制风险原则；3）免费补偿原则；4）保护隐私原则；5）依法赔偿原则；6）特殊保护原则。

3人工智能医疗器械应遵循的伦理发展方向

3.1推动医学人工智能伦理标准化

为了促进行业的发展，开放、共享的高质量医学数据集是未来的发展趋势，但是数据获取的来源（前瞻式采集与回顾式采集交叉混合）[22]、数据清洗个人信息的准则/尺度[23]、数据标注的规范格式[24]等现在并无统一的定论，这会使得高质量的数据集难以在各个AI产品开发者间互通。只有相应的规则确定后，人工智能医疗器械产业才能高速发展。

3.2数据完整性与医学伦理的平衡

在满足医学伦理要求保护隐私和个人数据的同时，医疗类AI产品为了获得高质量的数据集，还应尽可能地保留更多的信息（例如既往病史）用于分析处理，避免数据收集纳入偏见的、非典型的，甚至是错误的信息。与此同时，医疗类AI产品在数据收集、数据标注的过程中必须保证其数据的完整性，使得AI产品是可解释的、可信任的。如何最大程度地保留信息，同时避免通过信息追溯到个人，这是医疗类AI产品应遵循的伦理方向。

4结语

在人工智能与伦理方面做深入的探索，围绕人工智能建立一系列标准，形成医疗健康人工智能标准生态，这关系到人工智能的发展。人工智能产业能否得到公众的信任并获得持续性发展，关键在于建立有共识的人工智能伦理准则，在较高程度保持数据完整性的同时，保障数据隐私，在符合GDPR等要求的前提下，使得来自不同渠道的数据可用于机器学习，从而促进产业的发展。

作者:唐桥虹王浩任海萍单位:中国食品药品检定研究院

人工智能的伦理问题与治理原则

近年来，人工智能在自动驾驶汽车、医疗、传媒、金融、工业机器人以及互联网服务等越来越多领域和场景应用，其影响范围越来越宽广。各国产业巨头已经投入大量的精力和资金，开展人工智能关键技术的攻关与应用相关的研究与产品开发，并纷纷推出了不同的人工智能平台与产品。这些发展一方面带来了效率的提升、成本的降低，另一方面也给社会带来了全新的伦理问题。

对人工智能伦理问题的探讨，既包括形而上学的研究，也包括寻求解决实际的问题和求得社会共识的讨论。如何在人工智能这一全新的技术条件下发现伦理共识，对经济、社会和政治有着深远意义。目前，各国、各个行业组织、社会团体和人工智能领域的商业公司纷纷提出人工智能的伦理准则，对人工智能技术本身以及其应用进行规制。中国政府把人工智能作为产业升级和经济转型的主要驱动力，鼓励、扶持和推动人工智能的发展。在我国推动人工智能发展的关键时期，开展人工智能伦理问题的探讨有极为重要的意义。在此背景下，本文关注人工智能所引发的短期与长期的伦理问题以及相应的治理对策，以期人工智能真正造福人类。

人工智能伦理问题与来源

在艺术作品中，不少人熟悉弗兰肯斯坦的形象——一个在雷电中诞生的人和机器结合的怪物。人们对这些强大却并不良善的力量，通常会感到恐惧。人工智能会不会和弗兰肯斯坦这个怪物一样呢？我们会不会创造一种技术最后毁灭了我们人类？包括埃隆·马斯克在内的一众技术领袖，公开提出了这个问题，这迅速引起了公众的注意。在人工智能技术语境下，机器的自主性已经超出人之前所预期的范围，这当然要求有新的责任体系的建构。

人工智能伦理在公众讨论中最有名的雏形，来自科幻小说作者阿西莫夫提出的机器人三定律。今天我们知道，阿西莫夫机器人三定律并不能一劳永逸地建立对人工智能的合理约束，但它的真正价值是提出了一个可能性。这个可能性就是我们所创造的技术——在处理某些问题上比我们要迅速，在机械、物理力量上要比我们强的“自主”决策主体——不仅不会伤害人类，反而能够造福人类社会。三定律所要处理的核心问题是人的主体性问题，这也是探讨人工智能伦理和治理的核心问题。关于人工智能伦理和治理，无论是算法决策相关的问题、数据与隐私相关的问题和社会影响相关的问题，都关涉人的主体性问题。

从人工智能现有能力/技术潜力与它给人类社会带来的负面后果的角度来看，会产生两大类问题：1.人工智能被委以对人类事务做决策的能力，但它对决策结果的伦理判断能力不足；2.人类缺乏引导人工智能发挥作用的终极伦理准则。

第一类问题来自我们对人工智能系统对其决策结果的伦理意义缺乏判断的忧虑。人工智能往往被用来解决一个具体问题，而且只能通过已有的有限数据来作出决策，往往无法像人一样理解更广的社会和伦理语境。故此，我们对人工智能缺乏对决策后果的伦理意义的认知有恐惧，这是完全可以理解的。当人工智能决策的后果涉及一个结果和另外一个结果之间的比较时，往往造成难以预料的后果。例如，人可能给人工智能系统一个获取食物的指令，结果这个系统却杀死了人的宠物。这是因为人工智能对某个结果的伦理意义无法完全理解，以致于错误地执行了指令。我们对人工智能对决策结果的伦理判断能力不足的忧虑，在人工智能技术本身缺乏透明度（黑箱问题）时就更加严重了。人工智能采纳的机器学习往往因为算法（例如机器学习）和算力限制的原因，无法回溯机器作出决定的具体机制。无法回溯会带来我们在事先预测后果和事后作出纠正的能力的局限，导致我们在决定是否应用人工智能技术的问题上踌躇不决。

第二类问题来自我们对人工智能的潜力的忧虑。人工智能可能成为人类全部决定的参与和影响者，但我们尚且不知道没有任何已知的伦理准则能指引上述行为。人类创造的“上帝”无力护理这个世界，这让我们恐惧震惊。我们担心随着人工智能的发展，它会导致已有的社会问题进一步恶化，同时可能带来新的社会问题。

从上述前提出发，笔者从目的、手段两个层面提出思考人工智能伦理（嵌入机器的伦理）的两个基本方向：技术必须促进人类的善（体现在人的根本利益原则）；在越来越发达的机器的自主性背景下确认人的主体性（体现在责任原则）。换言之，认识到新的技术本身的特征和它的潜在社会影响，我们看到人工智能伦理要强调：（1）人可以利用人工智能得到更大的能力（行善/伤害），因此有更大的责任，所以应当更加强调归责性；（2）人工智能则必须服从人类设定的伦理规则。这也是《人工智能标准化白皮书（2018）》中提出了人工智能设计和应用中应遵循的两个基本原则的基本依据。违反人的根本利益原则的人工智能，无论是用来欺诈顾客的营销算法、用于司法造成歧视部分公民的司法决策系统，还是对个人信息的过度收集和滥用，都违反人工智能伦理原则。

根据人工智能伦理风险的具体性质与特征，可从算法、数据和应用三个方面度来梳理人工智能的风险。对伦理风险的治理，需要立法和政策明确各相关主体的责任，包括信息提供者、信息处理者和系统协调者。此外，人工智能还可能对社会产生远期发展的风险，如对既有的就业、市场竞争秩序、产权等法律制度的挑战，甚至生产方式的根本变革，这些我们将其归入长期和间接的伦理风险之中。

算法方面

算法方面的风险主要包括算法安全问题、算法可解释性问题、算法歧视问题和算法决策困境问题。算法安全问题产生于算法漏洞被黑客攻击和恶意利用的挑战，同时算法从设计、训练到使用中面临可信赖性问题和算法随时可用对可靠性带来挑战。

算法可解释性涉及人类的知情利益和主体地位，对人工智能的长远发展意义重大。国务院颁布《新一代人工智能发展规划》，同时，潘云鹤院士提到人工智能应用的一个需要关注的问题是算法的不可解释性。算法可解释性问题在国外也引起媒体和公众的关注。例如，电气和电子工程师协会（IEEE）在2016年和2017年连续推出的《人工智能设计的伦理准则》白皮书，在多个部分都提出了对人工智能和自动化系统应有解释能力的要求。美国计算机协会美国公共政策委员会在2017年年初发布了《算法透明性和可问责性声明》，提出了七项基本原则，其中一项即为“解释”，希望鼓励使用算法决策的系统和机构，对算法的过程和特定的决策提供解释。2017年，美国加州大学伯克利分校发布了《对人工智能系统挑战的伯克利观点》，从人工智能的发展趋势出发，总结了九项挑战和研究方向。其中之一，即第三项，就是要发展可解释的决策，使人们可以识别人工智能算法输入的哪些特性引起了某个特定的输出结果。

与可解释性问题常常同时出现的是算法歧视问题，即在看似中立的算法中，由于算法的设计者的认知存在某种偏见，或者训练算法使用了有问题的数据集等原因，带来了人工智能系统决策出现带有歧视性的结果。这类例子媒体时有报道，例如在金融领域“降低弱势群体的信贷得分”、“拒绝向‘有色人种’贷款”、“广告商更倾向于将高息贷款信息向低收入群体展示”等。

算法歧视主要分为“人为造成的歧视”“数据驱动的歧视”与“机器自我学习造成的歧视”三类。人为造成的歧视，是指由于人为原因而使算法将歧视或偏见引入决策过程中。数据驱动造成的歧视，是指由于原始训练数据存在偏见性，而导致算法执行时将歧视带入决策过程中。算法本身不会质疑其所接收到的数据，只是单纯地寻找、挖掘数据背后隐含的模式或者结构。如果数据一开始就存在某种选择上的偏见或喜好，那么算法会获得类似于人类偏见的输出结果。机器自我学习造成的歧视，是指机器在学习的过程中会自我学习到数据的多维不同特征，即便不是人为地赋予数据集某些特征，或者程序员或科学家刻意避免输入一些敏感的数据，但是机器在自我学习的过程中，仍然会学习到输入数据的其它特征，从而将某些偏见引入到决策过程中，这就是机器自我学习造成的歧视。

算法决策困境源于人工智能自学习能力导致的算法结果的不可预见性。为此要减少或杜绝算法决策困境，除了提高算法的可解释性，还可以引入相应的算法终结机制。

数据方面

数据方面的风险主要包括侵犯隐私的风险和个人敏感信息识别与保护的风险。在现代社会，隐私保护是信任和个人自由的根本，同时也是人工智能时代维持文明与尊严的基本方式。人工智能时代下侵犯隐私的风险更大，受害者也更多。

传统法律规范对隐私的保护集中于对个人在私人领域、私人空间活动的保护，以及个人私密的、非公开的信息保护。在个人信息的基础之上，法律规范区分普通个人信息和个人敏感信息。法律通常对个人敏感信息予以更高的保护，例如对个人敏感信息的处理需要基于个人信息主体的明示同意，或重大合法利益或公共利益的需要等，严格限制对个人敏感信息的自动化处理，并要求对其进行加密存储或采取更为严格的访问控制等安全保护措施。个人敏感信息在授权同意范围外扩散，或者个人信息的扩散超出收集、使用个人信息的组织和机构控制范围，以及使用者超出授权使用（如变更处理目的、扩大处理范围等），都可能对个人信息主体权益带来重大风险。

人工智能技术的应用极大地扩展了个人信息收集的场景、范围和数量。图像识别、语音识别、语义理解等人工智能技术实现海量非结构化数据的采集，而人工智能与物联网设备的结合丰富了线下数据采集的场景。例如,家用机器人、智能冰箱、智能音箱等各种智能家居设备走进人们的客厅、卧室，实时地收集人们的生活习惯、消费偏好、语音交互、视频影像等信息；各类智能助手在为用户提供更加便捷服务的同时，也在全方位地获取和分析用户的浏览、搜索、位置、行程、邮件、语音交互等信息；支持面部识别的监控摄像头，可以在公共场合且个人毫不知情的情况下，识别个人身份并实现对个人的持续跟踪。这些都需要法律进一步地规范。

社会方面

与社会相关的伦理问题主要包括算法滥用和误用。算法滥用和误用是指人们利用算法进行分析、决策、协调、组织等一系列活动中，其使用目的、使用方式、使用范围等出现偏差并引发不良影响或不利后果的情况。例如，人脸识别算法能够提高治安水平、加快发现犯罪嫌疑人的速度等，但是如果把人脸识别算法应用于发现潜在犯罪人或者根据脸型判别某人是否存在犯罪潜质，就属于典型的算法滥用。由于人工智能系统的自动化属性，算法滥用将放大算法所产生的错误效果，并不断强化成为一个系统的重要特征。

算法滥用主要由算法设计者出于经济利益或者其他动机的操纵行为、平台和使用者过度依赖算法、将算法的应用盲目拓展到算法设计未曾考虑的领域等。电商平台算法设计者推荐不符合用户利益的产品，或者娱乐平台为了自身的商业利益对用户的娱乐或信息消费行为进行诱导、导致用户沉迷等，都是算法设计者操纵行为的展现。在医疗领域过度依赖人工智能平台的读图诊断，导致误诊，以及在安防领域和犯罪误判导致的问题，都直接关系到公民的人身安全与自由。

应当注意的是，与社会相关的伦理问题有如下特性：其一，它们与个人切身利益密切相关，如算法应用在犯罪评估、信用贷款、雇佣评估等关切人身利益的场合，对个人切身利益的影响广泛。其二，它们带来的问题通常难以短时间应对，例如深度学习是一个典型的“黑箱”算法，如果深度学习为基础建立的模型存在歧视，应对时难以查清原因。其三，在商业应用中出现这类问题时，由于资本的逐利性，公众权益容易受到侵害。

人工智能治理原则与实践

人工智能技术的特质及其伦理挑战，给社会的治理带来了问题。传统上，治理所预设能够遵循规则的主体（Agent），也就是人本身。今天我们认识到人工智能的特征在于其高度的自主性，即其决策不再需要操控者进一步的指令，考虑到这种决策可能会产生人类预料不到的结果，人工智能技术的设计者和应用者必须在人工智能技术研发、应用的各个环节贯彻伦理原则，以实现对人工智能的有效治理。

在传统技术领域，常见的防止损害的方式是在造成伤害之后进行干预。但是，等待人工智能系统造成伤害之时才考虑干预，很多时候为时已晚。一个更好的方法是将即时和持续的伦理风险评估和合规体系建设作为系统运行的一个组成部分，即时和持续评估人工智能系统是否存在伦理风险、并在损害产生之前以及损害不大的时候就通过合规体系进行处理。即时和持续的风险评估对于人工智能系统的保障要比按下“紧急按钮”要有效得多。

故此，我们在讨论人工智能治理应遵循的思路和逻辑时，必须警醒行业自律的有限性和立法的滞后性。如阿西莫夫等科技伦理的思想者所意识到的，必须将伦理在技术层面就进行明确，才能保证治理的有效性。构建人工智能的伦理标准是治理不可或缺的一面。此外，根据法律和政策本身的特征来制定法律、完善政策、设立管制机构，也是治理必须执行的方法。

国内外人工智能治理方面的探索值得我们关注和借鉴。例如，欧盟通过对机器人规制体现了依据人工智能伦理来设计治理体系的前沿探索。美国于2016年出台的战略文件就提出要理解并解决人工智能的伦理、法律和社会影响。英国政府曾在其发布的多份人工智能报告中提出应对人工智能的法律、伦理和社会影响，最为典型的是英国议会于2018年4月发出的长达180页的报告《英国人工智能发展的计划、能力与志向》。

联合国于2017年9月发布《机器人伦理报告》，建议制定国家和国际层面的伦理准则。电气和电子工程师协会（InstituteofElectricalandElectronicsEngineers，IEEE）于2016年启动“关于自主/智能系统伦理的全球倡议”，并开始组织人工智能设计的伦理准则。在未来生命研究所（futureoflifeinstitute，FLI）主持下，近4000名各界专家签署支持23条人工智能基本原则。

我国也在这个方面开展了探索与实践。2017年发布的《新一代人工智能发展规划》提出了中国的人工智能战略，制定促进人工智能发展的法律法规和伦理规范作为重要的保证措施被提了出来。2018年1月18日，在国家人工智能标准化总体组、专家咨询组的成立大会上发布了《人工智能标准化白皮书（2018）》。白皮书论述了人工智能的安全、伦理和隐私问题，认为设定人工智能技术的伦理要求，要依托于社会和公众对人工智能伦理的深入思考和广泛共识，并遵循一些共识原则。

人工智能技术的开发和应用深刻地改变着人类的生活，不可避免地会冲击现有的伦理与社会秩序，引发一系列问题。这些问题可能表现为直观的短期风险，如算法漏洞存在安全隐患、算法偏见导致歧视性政策的制定等，也可能相对间接和长期，如对产权、竞争、就业甚至社会结构的影响。尽管短期风险更具体可感，但长期风险所带来的社会影响更为广泛而深远，同样应予重视。

人工智能技术的日新月异与治理体系相对稳定性之间不可避免地存在矛盾，这需要我们明确应对人工智能的基本原则。在国际范围内比较，人工智能伦理基本原则以2017年1月在阿西洛马召开的“有益的人工智能”（BeneficialAI）会议提出的“阿西洛马人工智能原则”（AsilomarAIPrinciples），以及电气和电子工程师协会（IEEE）组织开展的人工智能伦理标准的工作受到了最多的关注。此前，各国也提出了机器人原则与伦理标准。作者认为，我国人工智能的研究和应用应遵循两个人工智能伦理基本原则，即人的根本利益原则和责任原则。

人的根本利益原则

人的根本利益原则，即人工智能应以实现人的根本利益为终极目标。这一原则体现对人权的尊重、对人类和自然环境利益最大化以及降低技术风险和对社会的负面影响。人的根本利益原则要求：

（1）在对社会的影响方面，人工智能的研发与应用以促进人类向善为目的（AIforgood），这也包括和平利用人工智能及相关技术，避免致命性人工智能武器的军备竞赛。

（2）在人工智能算法方面，人工智能的研发与应用应符合人的尊严，保障人的基本权利与自由；确保算法决策的透明性，确保算法设定避免歧视；推动人工智能的效益在世界范围内公平分配，缩小数字鸿沟。

（3）在数据使用方面，人工智能的研发与应用要关注隐私保护，加强个人数据的控制，防止数据滥用。

责任原则

责任原则，即在人工智能相关的技术开发和应用两方面都建立明确的责任体系，以便在人工智能应用结果导致人类伦理或法律的冲突问题时，人们能够从技术层面对人工智能技术开发人员或设计部门问责，并在人工智能应用层面建立合理的责任体系。在责任原则下，在人工智能技术开发方面应遵循透明度原则；在人工智能技术应用方面则应当遵循权责一致原则。

透明度原则

透明度原则要求人工智能的设计中，保证人类了解自主决策系统的工作原理，从而预测其输出结果，即人类应当知道人工智能如何以及为何做出特定决定。透明度原则的实现有赖于人工智能算法的可解释性（explicability）、可验证性（verifiability）和可预测性（predictability）。

权责一致原则

权责一致原则，是指在人工智能的设计和应用中应当保证问责的实现，这包括：在人工智能的设计和使用中留存相关的算法、数据和决策的准确记录，以便在产生损害结果时能够进行审查并查明责任归属。权责一致原则的实现需要建立人工智能算法的公共审查制度。公共审查能提高相关政府、科研和商业机构采纳的人工智能算法被纠错的可能性。合理的公共审查能够保证一方面必要的商业数据应被合理记录、相应算法应受到监督、商业应用应受到合理审查，另一方面商业主体仍可利用合理的知识产权或者商业秘密来保护本企业的利益。

应当明确，我们所说的人工智能伦理原则，不仅应当由人工智能系统的研发和应用的人类主体遵守（包括在研究机构、行业领域的科技企业和科技工作者），而且这些原则应当嵌入人工智能系统本身。机器如何遵循伦理规则这一点，有人仍有质疑。典型的看法是，伦理规则只是给人的，没有可能给人工智能系统（包括机器人）设定伦理规则。的确，传统上伦理原则所针对的是能够遵循这些原则的主体（Agent）也就是人本身。但是，考虑到人工智能的特征在于机器对人的智能的“模拟、延伸和扩展”，即其决策不需要操控者一步步的指令，同时这种决策可能会产生人类预料不到的结果，人工智能系统也应当受到伦理规则的规制。

结论

社会必须信任人工智能技术能够给人带来的利益大于伤害，才有可能支持继续发展人工智能。而这种信任，需要我们认识和探讨人工智能领域的伦理和治理问题，并且在发展人工智能技术发展的早期就有意识地加以运用。今天学者、科技工作者和社会已经有基本共识，就是负责人工智能系统的研发和应用的人类主体，包括在研究机构、行业领域的科技企业和科技工作者，应当服从一些基本的伦理原则。本文提出的两个基本伦理原则，是国内在这方面思考的总结和升华。除了人工智能的基本伦理原则，前人给我们的另一个启发是人工智能伦理应该嵌入系统本身。当我们越来越依赖于机器人代替我们作出决策时，我们应当在这个决策过程中嵌入伦理思考，而不是等待决策结果已经给我们带来负面影响之后再去纠正。

本文希望用一种更清醒的眼光去看待人工智能伦理和治理问题。学者和公众需要一起探讨：我们有没有可能防止人工智能给个人和社会带来的损害？只有在这个问题得到更深入的思考和妥善解决的时候，人工智能的发展才有真正的基础。

转自丨法理杂志

作者丨郭锐

研究所简介

国际技术经济研究所（IITE）成立于1985年11月，是隶属于国务院发展研究中心的非营利性研究机构，主要职能是研究我国经济、科技社会发展中的重大政策性、战略性、前瞻性问题，跟踪和分析世界科技、经济发展态势，为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号，致力于向公众传递前沿技术资讯和科技创新洞见。

地址：北京市海淀区小南庄20号楼A座

特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

Notice:Thecontentabove(includingthepicturesandvideosifany)isuploadedandpostedbyauserofNetEaseHao,whichisasocialmediaplatformandonlyprovidesinformationstorageservices.