李嘉璐：欧盟可信人工智能自评估清单
李嘉璐：欧盟可信人工智能自评估清单时间：2022-05-04来源：地狱和天堂浏览数：131次
隐私是人类的一项基本权利，尤其受到AI系统的影响。防止对隐私的伤害需要完善的数据治理。这其中包括所使用数据的质量和完整性、数据与AI系统将被部署领域的相关性、数据的访问协议和以保护隐私的方式处理数据的能力。
【编者按】2019年欧盟委员会人工智能高级专家组发布了《可信人工智能伦理指南》。该指南中包含了一份评估清单，以帮助评估正在开发、部署、采购或使用的人工智能系统是否符合指南中规定的“可信人工智能”的七项要求。2020年7月，最终版《可信人工智能自评估清单》发布，它为人工智能开发者、部署者、使用者提供了评估可信人工智能的初步方法，有助于推动可信人工智能七项要求的践行和落实。
TheAssessmentListForTrustworthyArtificialIntelligence（ALTAI）
——HighLevelExpertGrouponArtificialIntelligence
可信人工智能自评估清单（ALTAI）
——欧盟委员会人工智能高级专家组
”
【目录】
引言：如何使用可信人工智能评估清单
要求#1人类能动性和监督
人类能动性和自主性
人类监督
要求#2技术稳健性和安全性
抵御攻击和安全性
整体安全
准确度
可靠性、回溯计划和可复现性
要求#3隐私和数据治理
隐私
数据治理
要求#4透明度
可追溯性
可解释性
可沟通性
要求#5多样性、非歧视和公平性
避免不公正的偏见
可及性和通用设计
利益相关者的参与
要求#6环境友好和社会福祉
实现环境友好
对工作和技能的影响
对全社会或民主的影响
要求#7问责制
可审核性
风险管理
词汇表
I
可信人工智能的伦理目标
本评估清单立足于对公民基本权利的保护。公民基本权利既包含人类尊严、非歧视等，也包含数据保护和隐私相关的权利。清单指出，在使用本评估清单对人工智能系统进行自我评估之前，应先进行基本权利影响评估（FRIA），以确保人工智能的开发、部署和使用过程遵守人民基本权利、原则和价值观。
II
实现可信人工智能的关键要求
01
人类能动性和监督
AI系统应该根据尊重人类自主权的原则，支持人类的能动性和人类的决策。这就要求AI系统做到以下两点：通过支持用户的能动性，成为民主、繁荣和公平社会的推动者；以人类监督为支撑，维护公民的基本权利。
1.1人类能动性和自主性
AI系统在开发、部署和使用过程中应当制定相应措施以避免AI系统无意中干扰用户决策，降低AI系统创造人类沉迷、操纵用户行为的风险。同时终端用户和主体应当始终被告知他们正在与AI系统而非人类互动，其应当充分意识到某项决议和结果是算法决定的结果。
1.2人类监督
人类应有能力干预或监督AI系统。监督可以通过不同的管理机制来实现，包括决策监督机制、设计监督机制、整体监督机制等方法。
02
技术稳健性和安全性
实现可信AI系统的关键要素是其可靠性（提供可信赖服务的能力）和适应力（面对变化时的稳健性）。技术的稳健性要求AI系统在开发过程中具备对风险的预防性方法，并确保其行为可靠、符合预期、尽量减少并预防无意和意外伤害。
2.1抵御攻击和安全性
人类应当制定相应措施以确保AI系统的完整性、稳健性和整体安全性以抵御其生命周期内的潜在攻击。攻击切入点可能为数据，也可能为模型。同时，AI系统应经过网络安全认证或符合特定的安全标准。
2.2整体安全
人类应当对AI系统的可能威胁和风险进行评估，并将结果告知终端用户和主体，以确保AI系统不会对用户造成伤害。
2.3准确度
准确度是AI系统的一个性能指标。低准确性可能会导致严重后果。人类应当采取措施确保用于开发AI系统的数据（包括训练数据）是最新的、高质量的、完整的且能够代表系统部署环境。同时，人类应制定相关程序以保证用户和系统之间的沟通准确度。
2.4可靠性和可复现性
人类应当制定相应程序确保AI系统结果的可靠性和可重复性，并制定经过测试的故障安全后备计划以解决AI系统错误。
03
隐私和数据处理
隐私是人类的一项基本权利，尤其受到AI系统的影响。防止对隐私的伤害需要完善的数据治理。这其中包括所使用数据的质量和完整性、数据与AI系统将被部署领域的相关性、数据的访问协议和以保护隐私的方式处理数据的能力。
3.1隐私
AI系统应当尊重人类人身完整的基本权利，这其中包括人的精神和身体完整。
3.2数据治理
AI系统对数据的收集、生成或处理应当遵循相关的标准和协议，保护用户的隐私和数据。
04
透明度
实现可信AI的一个重要因素是透明度，这其中包括可追溯性、可解释性、关于AI系统局限性的公开交流。
4.1可追溯性
产生AI系统决策的数据和过程应当得到适当的记录以用来追溯。并且应该增加透明度，最终在社会中建立对AI系统的信任。
4.2可解释性
可解释性即解释AI系统的技术过程和决策过程。在可能的范围内，AI系统驱动下的决策必须向直接或间接受影响的人解释并被他们理解，以便允许他们对决策产生质疑。需要解释的程度取决于背景和错误或不准确的输出对人类生活影响的严重性。
4.3可沟通性
可沟通性要求AI系统的能力和局限以适合于现有惯例的方式传达给用户。在使用交互式AI系统（如聊天机器人、机器人律师）时用户应当被告知他们正在与AI系统而非人类交互。人类应当建立相应机制告知用户AI系统所产生决策的目的、标准和限制。
05
多样性、非歧视和公平性
5.1避免不公正的偏见
AI系统（无论用于训练还是操作）可能会受到无意识的历史偏见、不完整和不良治理模式的影响。这种偏见的延续可能导致对某些群体或人的无意的直接偏见或歧视（以及间接偏见或歧视），从而加剧偏见和边缘化。故意利用（消费者）偏见或从事不公平竞争，如通过串通和不透明的手段使价格同质化，也会造成伤害。应尽可能在收集阶段消除可识别的和歧视性偏见。
5.2可及性和通用设计
尤其是在B2C（企业对消费者）领域，AI系统应该以用户为中心，其设计方式应允许所有人使用AI产品或服务，无论人们的年龄、性别、能力或特征如何。尤为重要的一点是，各种社会群体中的残障人士均有机会使用这种技术。
5.3利益相关者的参与
为开发可信人工智能，建议咨询在整个生命周期内可能直接或间接收到AI系统影响的利益相关者。同时在部署之后定期征求反馈，并为利益相关者建立长期的参与机制。
06
环境友好和社会福祉
应鼓励AI系统的可持续性和生态责任，利用AI维护和促进民主进程，造福人类，包括子孙后代。
6.1实现环境友好
AI系统即使被承诺用于帮助解决一些最紧迫的社会问题，如气候变化，也必须以环境友好型方式发挥作用。AI系统的开发、部署和使用过程以及整个供应链都应进行此方面的评估。
6.2对工作和技能的影响
AI系统将会对人类工作和工作安排产生影响。人类应采取措施确保AI系统对人类工作的影响得到充分理解，并积极应对AI系统可能带来的劳动力去技能化风险。
6.3对全社会或民主的影响
人类在使用AI系统时应当考虑将它对机构、民主和全社会的影响。AI系统不得破坏民主进程、人类审议或民主投票制度，也不得对整个社会构成系统性威胁。
07
问责制
应建立可利用的问责机制，以确保对AI系统的开发、部署和/或使用负责并在发生不公正或不利影响时有充分的补救可能性。
7.1可审计性
内部和外部审计者进行评估以及获取上述评估记录的可能性有助于构建可信赖的AI系统。在影响基本权利的应用中，包括对安全至关重要的应用，AI系统应该能够被独立审计。但这并不意味着和AI系统相关的商业模式和知识产权信息必须始终公开。
7.2风险管理
识别、评估、记录和尽量减少AI系统的潜在负面影响，对（直接）受影响的人来说至关重要。举报人、非政府组织、工会或其他实体在报告对AI系统的合法关切时必须得到应有的保护。实现上述需求时可能会有矛盾的产生，此时需要做出权衡。这种权衡应在技术水平范围内以合理和有条理的方式来进行。
（部分内容来源网络，如有侵权请联系删除）立即免费申请产品试用申请试用快乐分享上一篇：杨婕：关于数据伦理国内外研究评述与发展动态分析...
下一篇：数据管理的热点话题：数据资产、数据价值、数据驱动、数据管理和数字化转型...
相关主题相关大数据问答相关大数据知识高速数据采集卡什么叫大数据平台大屏设计数据可视化的优点中文大数据分析报表信息管理系统融资租赁管控系统半年度财务分析报告数据治理平台产品企业数据归集治理方案数据可视化技术有哪些交通数据分析数据协作平台信息可视化工具数据分析统计图表1数字化转型分为几个阶段？
2数据中台概念辨析
3什么是大数据思维？它主要包括哪些内容？
4数据治理平台为企业节省资金的一些方法
5企业数据治理的组织体系如何搭建？
1常见的数据挖掘软件介绍
2数据交换与共享的过程是怎样的？
3企业的数据治理流程是怎样的？
4数字化时代，商业智能BI数据分析平台对企业有什么作用？
5数据治理难落地？用好工具让数据治理更容易
人工智能伦理治理亟需迈向实践阶段
当今社会，数字产业化与产业数字化持续推动数字世界与物理世界深度融合发展，人类的生活和生产方式日益被重塑。人工智能算法与数据作为这场经济与社会领域变革的核心推动力，将是未来数年的话题制造者。毫无疑问，数据与人工智能算法的结合，嵌入恰当的应用场景，将带来显著的经济与社会效益。
[[392793]]
但也必须重视人工智能算法在公平、安全、隐私、透明、责任、就业等方面可能带来的问题。算法系统的输出结果可能对特定个体或群体造成歧视、不公平、排斥等，例如人脸识别算法被指在识别有色人种上准确性较差，广告算法、招聘算法被指排斥女性劳动者。算法分发可能助长虚假信息的传播、扩散，也能限制用户对信息的自由选择，进而造成“信息茧房”效应。同时，算法也可能被滥用或恶用，给个人权益、公共利益、国家安全等带来威胁，如过度采集与分析人脸信息、大数据杀熟、深度伪造等。
在这些背景下，人工智能的发展应用迫切需要伦理价值来提供引导与约束，这在国内外已经成为人工智能领域的一项基本共识。
三个阶段2016年以来，伴随着人工智能技术的快速发展应用，人工智能伦理大致经历了三个发展阶段，当前迫切需要迈向“实践”阶段。
第一阶段从2016年开始，可以称之为原则大爆炸阶段。这个阶段的核心是各界纷纷提出或制定伦理原则。以人工智能需要遵循一定的伦理原则为出发点，上到国家、政府机构与国际组织，下到科技公司、行业组织与学术团体，各界纷纷提出或制定AI伦理原则。国内外的主流科技公司如微软、谷歌、IBM、腾讯等也都积极响应，陆续提出了各自的AI伦理原则。据不完全统计，相关的AI原则文件超过百份。总之，在这个阶段，各界都在积极倡导AI伦理原则，但缺乏必要的共识与具体的实践。
第二个阶段从2018年开始，可以称之为共识寻求阶段。不同的国家、不同的组织提出了众多的AI原则和伦理框架，这些原则和框架不尽相同，甚至存在一定程度的分歧与冲突。但人工智能与数字经济是全球化的，所以人们希望达成、制定全球共同认可的AI原则。OECD和G20的人工智能原则便是这一阶段的产物。
第三个阶段从2019年开始，可以称之为AI伦理实践阶段。在这个阶段，产业界开始思索如何实施、执行AI原则，探索可以把AI原则转化为实践的机制、做法、工具等。目前，谷歌、微软、IBM等科技公司已在积极推进AI伦理方面的落地工作，让AI原则操作化、落地化，真正融入、嵌入AI研发流程与业务应用。总之，AI伦理实践应成为当前以及未来AI伦理工作的核心方向，因为要真正把AI伦理落到实处，仅仅倡导AI伦理原则是不足够的，下一阶段需要着力探索把抽象的AI原则“翻译”为或“转变”为具体的实践的治理路径。
五个路径从原则到实践，是AI伦理领域的发展方向。目前，我国已提出了AI伦理相关的原则、框架等，如《新一代人工智能治理原则——发展负责任的人工智能》。一些科技公司也提出了类似的倡议。在此基础上，需要进一步探索AI伦理的落地实施方案，更多依靠伦理治理的相关实践来促进负责任、安全可信AI的发展应用。结合国内外的相关探索与研究，AI伦理治理主要有以下五个实践路径。
一是伦理委员会。如果说人工智能是未来智能社会的基石，那么可以说伦理就是使这一基石稳固的必要保障。所以，考虑到不同AI系统的不同影响，以及立法滞后、法律不健全等因素，科技公司需要在法律合规这一最低要求之外，积极履行伦理责任。伦理委员会是科技公司履行AI伦理责任的最基础机制。成立伦理委员会，对AI相关业务与应用进行必要的伦理审查，已经成为了科技行业的“必选项”，例如微软的AETHER委员会、谷歌的AI原则审查小组、IBM的AI伦理委员会等。伦理委员会的主要职责是制定AI伦理相关的内部标准与流程，并基于此对AI相关业务进行伦理审查，以识别、预防、消除AI相关应用在安全、公平、隐私等方面风险。在具体运作上，伦理委员会需要多元参与，即技术、法律、伦理等不同专业领域人士的协作配合;伦理委员会负责建立案例、标准、程序、工具、资源等，成为制度知识的资料库，发挥治理主体的作用。此外，伦理委员会比政府立法反应快，能够及时跟进技术创新与应用的快速发展。
二是伦理实践框架。除了对AI业务进行伦理审查，国外科技公司也在落实AI伦理相关的实践框架，以解决人工智能带来的歧视、不透明、不可解释、隐私等问题。例如，在算法透明性方面，谷歌推出了面向人工智能的“模型卡片”机制，IBM则推出了“AI事实清单”机制，这些机制类似于产品的说明书与食品的营养成分表，对人工智能模型相关的模型细节、用途、影响因素、指标、训练数据、评估数据、伦理考虑、警告与建议等方面进行解释说明，以便人们可以更好地理解、认知AI模型。再如，在隐私保护方面，联邦学习框架(federatedlearning)既能促进数据利用，又能很好地保护个人隐私。简言之，联邦学习是指在进行机器学习的过程中，各参与方可借助其他方数据进行联合建模，但却无需共享其数据资源。借助联邦学习，可以解决数据不完整、数据不充分等问题，同时保护个人隐私及数据安全。联邦学习在车险定价、信贷风控、销售预测、视觉安防、辅助诊断、隐私保护广告、自动驾驶等方面具有很大应用前景。此外，AI伦理检查清单、AI公平性检查清单等机制也日益得到科技公司的重视，在确保AI符合伦理要求方面将发挥越来越重要的作用。
三是伦理工具。伦理工具侧重从技术上寻找针对透明性、可解释、公平性、安全性、隐私保护等问题的技术解决方案。此外，还包括针对人脸伪造在内的深度伪造的鉴别工具。从伦理工具的开源发展到商业化服务，大型科技公司和AI伦理创业公司正在弥补AI领域缺失的一环，为AI伦理落地提供了全新的思路。目前，谷歌、微软、IBM以及一些AI伦理创业公司等都在积极开发多元化的AI伦理工具并集成到云服务中，提供AI伦理服务(ethicasaservice，简称EaaS)，赋能客户与产业。EaaS将来有望成为云服务与云AI的标配。
四是标准认证。就像现在的隐私保护一样，人工智能伦理也可以采取标准认证的方式来推进，符合AI伦理标准的AI产品与服务可以申请相应的认证。目前，IEEE、ISO等国际标准化组织在积极组织制定相关的标准，并尝试推出认证项目。未来我国在这方面也需要积极投入，抢占标准高地，以标准认证的方式鼓励、促进可信的、负责任的AI的发展应用。
五是伦理培训。技术研发人员处在AI业务一线，是对技术负责的第一人，需要培养他们的伦理意识，帮助他们在AI业务实际中积极践行伦理要求，把伦理要求嵌入产品开发设计与运作的全流程。所以政府与企业也要对其技术人员加强伦理培训，高校则要加强AI伦理相关教育培训体系的搭建。
三管齐下对于AI治理，伦理治理、法律治理及技术治理都有各自的作用空间，不可偏废。但就当前而言，人工智能治理需要更多依靠伦理治理的方式。因为考虑到AI算法的复杂性与持续迭代性，在不宜草率推出强制性立法时，伦理治理对于应对AI算法应用带来的问题无疑是最适合也是最有效的方式。
AI伦理固然重要，是确保实现负责任、安全可信AI的重要路径。但也不能片面强调伦理及立法规制，以免影响AI技术的创新应用及其经济社会效益的最大化。
例如，过度强调个人信息与隐私保护，可能导致AI应用获取不到足够的可用数据，进而阻碍AI应用及其对个人与社会的价值;过度强调算法的透明性，可能降低算法的准确性或效率，进而阻碍规模化应用;片面强调在所有场景下都要求人类最终决策与控制，可能无法充分发挥AI解决既有决策环节中人类决策者相关的偏见、歧视等问题。而且很多高风险的AI应用，往往也是高价值的AI应用，所以要在权衡不同利益追求的基础上，做到伦理与发展的平衡，实现负责任的技术创新与应用。
国际人工智能伦理治理研究态势分析与展望
MICHIES,YARDLEYL,WEATR,etal.DevelopingandEvaluatingDigitalInterventionstoPromoteBehaviorChangeinHealthandHealthCare:RecommendationsResultingFromanInternationalWorkshop[J].JMedInternetRes,2017,19(6):e232.doi:10.2196/jmir.7126