人工智能的创新发展与社会影响
党的十八大以来，习近平总书记把创新摆在国家发展全局的核心位置，高度重视人工智能发展，多次谈及人工智能的重要性，为人工智能如何赋能新时代指明了方向。2018世界人工智能大会9月17日在上海开幕，习总书记致信祝贺并强调指出人工智能发展应用将有力提高经济社会发展智能化水平，有效增强公共服务和城市管理能力。深入学习领会习总书记关于人工智能的一系列重要论述，务实推进我国《新一代人工智能发展规划》，有效规避人工智能“鸿沟”，着力收获人工智能“红利”，对建设世界科技强国、实现“两个一百年”的奋斗目标具有重大战略意义。
一、引言
1956年人工智能（ArtificialIntelligence，简称AI）的概念被正式提出，标志着人工智能学科的诞生，其发展目标是赋予机器类人的感知、学习、思考、决策和行动等能力。经过60多年的发展，人工智能已取得突破性进展，在经济社会各领域开始得到广泛应用并形成引领新一轮产业变革之势，推动人类社会进入智能化时代。美国、日本、德国、英国、法国、俄罗斯等国家都制定了发展人工智能的国家战略，我国也于2017年发布了《新一代人工智能发展规划》，发改委、工信部、科技部、教育部等国家部委和北京、上海、广东、江苏等地政府也相继出台推动人工智能发展的相关政策文件，社会各界对人工智能的重大战略意义已形成广泛共识。
跟其他高科技一样，人工智能也是一把双刃剑。如何认识人工智能的社会影响，也有“天使派”和“魔鬼派”之分。“天使派”认为，人工智能领域的科技创新和成果应用取得重大突破，有望引领第四次工业革命，对社会、经济、军事等领域将产生变革性影响，在制造、交通、教育、医疗、服务等方面可以造福人类；“魔鬼派”认为，人工智能是人类的重大威胁，比核武器还危险，有可能引发第三次世界大战。2018年2月，牛津大学、剑桥大学和OpenAI公司等14家机构共同发布题为《人工智能的恶意使用：预测、预防和缓解》的报告，指出人工智能可能给人类社会带来数字安全、物理安全和政治安全等潜在威胁，并给出了一些建议来减少风险。
总体上看，已过花甲之年的人工智能当前的发展具有“四新”特征：以深度学习为代表的人工智能核心技术取得新突破、“智能+”模式的普适应用为经济社会发展注入新动能、人工智能成为世界各国竞相战略布局的新高地、人工智能的广泛应用给人类社会带来法律法规、道德伦理、社会治理等方面一系列的新挑战。因此人工智能这个机遇与挑战并存的新课题引起了全球范围内的广泛关注和高度重视。虽然人工智能未来的创新发展还存在不确定性，但是大家普遍认可人工智能的蓬勃兴起将带来新的社会文明，将推动产业变革，将深刻改变人们的生产生活方式，将是一场影响深远的科技革命。
为了客观认识人工智能的本质内涵和创新发展，本报告在简要介绍人工智能基本概念与发展历程的基础上，着重分析探讨人工智能的发展现状和未来趋势，试图揭示人工智能的真实面貌。很显然，在当下人工智能蓬勃发展的历史浪潮中如何选择中国路径特别值得我们深入思考和探讨。因此，本报告最后就我国人工智能发展态势、存在问题和对策建议也进行了阐述。
二、人工智能的发展历程与启示
1956年夏，麦卡锡（JohnMcCarthy）、明斯基（MarvinMinsky）、罗切斯特（NathanielRochester）和香农（ClaudeShannon）等科学家在美国达特茅斯学院开会研讨“如何用机器模拟人的智能”，首次提出“人工智能”这一概念，标志着人工智能学科的诞生。人工智能的目标是模拟、延伸和扩展人类智能，探寻智能本质，发展类人智能机器。人工智能充满未知的探索道路曲折起伏，如何描述1956年以来60余年的人工智能发展历程，学术界可谓仁者见仁、智者见智。我们将人工智能60余年的发展历程划分为以下6个阶段：
一是起步发展期：1956年-20世纪60年代初。人工智能概念在1956年首次被提出后，相继取得了一批令人瞩目的研究成果，如机器定理证明、跳棋程序、LISP表处理语言等，掀起了人工智能发展的第一个高潮。
二是反思发展期：60年代-70年代初。人工智能发展初期的突破性进展大大提升了人们对人工智能的期望，人们开始尝试更具挑战性的任务，并提出了一些不切实际的研发目标。然而，接二连三的失败和预期目标的落空（例如无法用机器证明两个连续函数之和还是连续函数、机器翻译闹出笑话等），使人工智能的发展走入了低谷。
三是应用发展期：70年代初-80年代中。20世纪70年代出现的专家系统模拟人类专家的知识和经验解决特定领域的问题，实现了人工智能从理论研究走向实际应用、从一般推理策略探讨转向运用专门知识的重大突破。专家系统在医疗、化学、地质等领域取得成功，推动人工智能走入了应用发展的新高潮。
四是低迷发展期：80年代中-90年代中。随着人工智能的应用规模不断扩大，专家系统存在的应用领域狭窄、缺乏常识性知识、知识获取困难、推理方法单一、缺乏分布式功能、难以与现有数据库兼容等问题逐渐暴露出来。
五是稳步发展期：90年代中-2010年。由于网络技术特别是互联网技术的发展，信息与数据的汇聚不断加速，互联网应用的不断普及加速了人工智能的创新研究，促使人工智能技术进一步走向实用化。1997年IBM深蓝超级计算机战胜了国际象棋世界冠军卡斯帕罗夫，2008年IBM提出“智慧地球”的概念，这些都是这一时期的标志性事件。
六是蓬勃发展期：2011年-至今。随着大数据、云计算、互联网、物联网等信息技术的发展，泛在感知数据和图形处理器（GraphicsProcessingUnit，简称GPU）等计算平台推动以深度神经网络为代表的人工智能技术飞速发展，大幅跨越科学与应用之间的“技术鸿沟”，图像分类、语音识别、知识问答、人机对弈、无人驾驶等具有广阔应用前景的人工智能技术突破了从“不能用、不好用”到“可以用”的技术瓶颈，人工智能发展进入爆发式增长的新高潮。
通过总结人工智能发展历程中的经验和教训，我们可以得到以下启示：
（一）尊重学科发展规律是推动学科健康发展的前提。科学技术的发展有其自身的规律，顺其者昌，违其者衰。人工智能学科发展需要基础理论、数据资源、计算平台、应用场景的协同驱动，当条件不具备时很难实现重大突破。
（二）基础研究是学科可持续发展的基石。加拿大多伦多大学杰弗里·辛顿（GeoffreyHinton）教授坚持研究深度神经网络30年，奠定人工智能蓬勃发展的重要理论基础。谷歌的DeepMind团队长期深入研究神经科学启发的人工智能等基础问题，取得了阿尔法狗等一系列重大成果。
（三）应用需求是科技创新的不竭之源。引领学科发展的动力主要来自于科学和需求的双轮驱动。人工智能发展的驱动力除了知识与技术体系内在矛盾外，贴近应用、解决用户需求是创新的最大源泉与动力。比如专家系统人工智能实现了从理论研究走向实际应用的突破，近些年来安防监控、身份识别、无人驾驶、互联网和物联网大数据分析等实际应用需求带动了人工智能的技术突破。
（四）学科交叉是创新突破的“捷径”。人工智能研究涉及信息科学、脑科学、心理科学等，上世纪50年代人工智能的出现本身就是学科交叉的结果。特别是脑认知科学与人工智能的成功结合，带来了人工智能神经网络几十年的持久发展。智能本源、意识本质等一些基本科学问题正在孕育重大突破，对人工智能学科发展具有重要促进作用。
（五）宽容失败应是支持创新的题中应有之义。任何学科的发展都不可能一帆风顺，任何创新目标的实现都不会一蹴而就。人工智能60余载的发展生动地诠释了一门学科创新发展起伏曲折的历程。可以说没有过去发展历程中的“寒冬”就没有今天人工智能发展新的春天。
（六）实事求是设定发展目标是制定学科发展规划的基本原则。达到全方位类人水平的机器智能是人工智能学科宏伟的终极目标，但是需要根据科技和经济社会发展水平来设定合理的阶段性研究目标，否则会有挫败感从而影响学科发展，人工智能发展过程中的几次低谷皆因不切实际的发展目标所致。
三、人工智能的发展现状与影响
人工智能经过60多年的发展，理论、技术和应用都取得了重要突破，已成为推动新一轮科技和产业革命的驱动力，深刻影响世界经济、政治、军事和社会发展，日益得到各国政府、产业界和学术界的高度关注。从技术维度来看，人工智能技术突破集中在专用智能，但是通用智能发展水平仍处于起步阶段；从产业维度来看，人工智能创新创业如火如荼，技术和商业生态已见雏形；从社会维度来看，世界主要国家纷纷将人工智能上升为国家战略，人工智能社会影响日益凸显。
（一）专用人工智能取得重要突破。从可应用性看，人工智能大体可分为专用人工智能和通用人工智能。面向特定领域的人工智能技术（即专用人工智能）由于任务单一、需求明确、应用边界清晰、领域知识丰富、建模相对简单，因此形成了人工智能领域的单点突破，在局部智能水平的单项测试中可以超越人类智能。人工智能的近期进展主要集中在专用智能领域，统计学习是专用人工智能走向实用的理论基础。深度学习、强化学习、对抗学习等统计机器学习理论在计算机视觉、语音识别、自然语言理解、人机博弈等方面取得成功应用。例如，阿尔法狗在围棋比赛中战胜人类冠军，人工智能程序在大规模图像识别和人脸识别中达到了超越人类的水平，语音识别系统5.1%的错误率比肩专业速记员，人工智能系统诊断皮肤癌达到专业医生水平，等等。
（二）通用人工智能尚处于起步阶段。人的大脑是一个通用的智能系统，能举一反三、融会贯通，可处理视觉、听觉、判断、推理、学习、思考、规划、设计等各类问题，可谓“一脑万用”。真正意义上完备的人工智能系统应该是一个通用的智能系统。虽然包括图像识别、语音识别、自动驾驶等在内的专用人工智能领域已取得突破性进展，但是通用智能系统的研究与应用仍然是任重而道远，人工智能总体发展水平仍处于起步阶段。美国国防高级研究计划局（DefenseAdvancedResearchProjectsAgency，简称DARPA）把人工智能发展分为三个阶段：规则智能、统计智能和自主智能，认为当前国际主流人工智能水平仍然处于第二阶段，核心技术依赖于深度学习、强化学习、对抗学习等统计机器学习，AI系统在信息感知（Perceiving）、机器学习（Learning）等智能水平维度进步显著，但是在概念抽象（Abstracting）和推理决策（Reasoning）等方面能力还很薄弱。总体上看，目前的人工智能系统可谓有智能没智慧、有智商没情商、会计算不会“算计”、有专才无通才。因此，人工智能依旧存在明显的局限性，依然还有很多“不能”，与人类智慧还相差甚远。
（三）人工智能创新创业如火如荼。全球产业界充分认识到人工智能技术引领新一轮产业变革的重大意义，纷纷调整发展战略。比如，在其2017年的年度开发者大会上，谷歌明确提出发展战略从“MobileFirst”（移动优先）转向“AIFirst”（AI优先）；微软2017财年年报首次将人工智能作为公司发展愿景。人工智能领域处于创新创业的前沿，麦肯锡报告2016年全球人工智能研发投入超300亿美元并处于高速增长，全球知名风投调研机构CBInsights报告显示2017年全球新成立人工智能创业公司1100家，人工智能领域共获得投资152亿美元，同比增长141%。
（四）创新生态布局成为人工智能产业发展的战略高地。信息技术（IT）和产业的发展史就是新老IT巨头抢滩布局IT创新生态的更替史。例如，传统信息产业IT（InformationTechnology）代表企业有微软、英特尔、IBM、甲骨文等，互联网和移动互联网IT（InternetTechnology）代表企业有谷歌、苹果、脸书、亚马逊、阿里巴巴、腾讯、百度等，目前智能科技IT（IntelligentTechnology）的产业格局还没有形成垄断，因此全球科技产业巨头都在积极推动AI技术生态的研发布局，全力抢占人工智能相关产业的制高点。人工智能创新生态包括纵向的数据平台、开源算法、计算芯片、基础软件、图形处理GPU服务器等技术生态系统和横向的智能制造、智能医疗、智能安防、智能零售、智能家居等商业和应用生态系统。在技术生态方面，人工智能算法、数据、图形处理器（GraphicsProcessingUnit，简称GPU）/张量处理器（TensorProcessingUnit，简称TPU）/神经网络处理器（NeuralnetworkProcessingUnit，NPU）计算、运行/编译/管理等基础软件已有大量开源资源，例如谷歌的TensorFlow第二代人工智能学习系统、脸书的PyTorch深度学习框架、微软的DMTK分布式学习工具包、IBM的SystemML开源机器学习系统等；此外谷歌、IBM、英伟达、英特尔、苹果、华为、中国科学院等积极布局人工智能领域的计算芯片。在人工智能商业和应用生态布局方面，“智能+X”成为创新范式，例如“智能+制造”、“智能+医疗”、“智能+安防”等，人工智能技术向创新性的消费场景和不同行业快速渗透融合并重塑整个社会发展，这是人工智能作为第四次技术革命关键驱动力的最主要表现方式。人工智能商业生态竞争进入白热化，例如智能驾驶汽车领域的参与者既有通用、福特、奔驰、丰田等传统龙头车企，又有互联网造车者如谷歌、特斯拉、优步、苹果、百度等新贵。
（五）人工智能上升为世界主要国家的重大发展战略。人工智能正在成为新一轮产业变革的引擎，必将深刻影响国际产业竞争格局和一个国家的国际竞争力。世界主要发达国家纷纷把发展人工智能作为提升国际竞争力、维护国家安全的重大战略，加紧积极谋划政策，围绕核心技术、顶尖人才、标准规范等强化部署，力图在新一轮国际科技竞争中掌握主导权。无论是德国的“工业4.0”、美国的“工业互联网”、日本的“超智能社会”、还是我国的“中国制造2025”等重大国家战略，人工智能都是其中的核心关键技术。2017年7月，国务院发布了《新一代人工智能发展规划》，开启了我国人工智能快速创新发展的新征程。
（六）人工智能的社会影响日益凸显。人工智能的社会影响是多元的，既有拉动经济、服务民生、造福社会的正面效应，又可能出现安全失控、法律失准、道德失范、伦理失常、隐私失密等社会问题，以及利用人工智能热点进行投机炒作从而存在泡沫风险。首先，人工智能作为新一轮科技革命和产业变革的核心力量，促进社会生产力的整体跃升，推动传统产业升级换代，驱动“无人经济”快速发展，在智能交通、智能家居、智能医疗等民生领域发展积极正面影响。与此同时，我们也要看到人工智能引发的法律、伦理等问题日益凸显，对当下的社会秩序及公共管理体制带来了前所未有的新挑战。例如，2016年欧盟委员会法律事务委员会提交一项将最先进的自动化机器人身份定位为“电子人（electronicpersons）”的动议，2017年沙特阿拉伯授予机器人“索菲亚”公民身份，这些显然冲击了传统的民事主体制度。那么，是否应该赋予人工智能系统法律主体资格？另外在人工智能新时代，个人信息和隐私保护、人工智能创作内容的知识产权、人工智能歧视和偏见、无人驾驶系统的交通法规、脑机接口和人机共生的科技伦理等问题都需要我们从法律法规、道德伦理、社会管理等多个角度提供解决方案。
由于人工智能与人类智能密切关联且应用前景广阔、专业性很强，容易造成人们的误解，也带来了不少炒作。例如，有些人错误地认为人工智能就是机器学习（深度学习），人工智能与人类智能是零和博弈，人工智能已经达到5岁小孩的水平，人工智能系统的智能水平即将全面超越人类水平，30年内机器人将统治世界，人类将成为人工智能的奴隶，等等。这些错误认识会给人工智能的发展带来不利影响。还有不少人对人工智能预期过高，以为通用智能很快就能实现，只要给机器人发指令就可以干任何事。另外，有意炒作并通过包装人工智能概念来谋取不当利益的现象时有发生。因此，我们有义务向社会大众普及人工智能知识，引导政府、企业和广大民众科学客观地认识和了解人工智能。
四、人工智能的发展趋势与展望
人工智能经过六十多年的发展突破了算法、算力和算料（数据）等“三算”方面的制约因素，拓展了互联网、物联网等广阔应用场景，开始进入蓬勃发展的黄金时期。从技术维度看，当前人工智能处于从“不能用”到“可以用”的技术拐点，但是距离“很好用”还有数据、能耗、泛化、可解释性、可靠性、安全性等诸多瓶颈，创新发展空间巨大，从专用到通用智能，从机器智能到人机智能融合，从“人工+智能”到自主智能，后深度学习的新理论体系正在酝酿；从产业和社会发展维度看，人工智能通过对经济和社会各领域渗透融合实现生产力和生产关系的变革，带动人类社会迈向新的文明，人类命运共同体将形成保障人工智能技术安全、可控、可靠发展的理性机制。总体而言，人工智能的春天刚刚开始，创新空间巨大，应用前景广阔。
（一）从专用智能到通用智能。如何实现从狭义或专用人工智能（也称弱人工智能，具备单一领域智能）向通用人工智能（也称强人工智能，具备多领域智能）的跨越式发展，既是下一代人工智能发展的必然趋势，也是国际研究与应用领域的挑战问题。2016年10月美国国家科学技术委员会发布了《国家人工智能研究与发展战略计划》，提出在美国的人工智能中长期发展策略中要着重研究通用人工智能。DeepMind创始人戴密斯·哈萨比斯（DemisHassabis）提出朝着“创造解决世界上一切问题的通用人工智能”这一目标前进。微软在2017年7月成立了通用人工智能实验室，100多位感知、学习、推理、自然语言理解等方面的科学家参与其中。
（二）从人工智能到人机混合智能。人工智能的一个重要研究方向就是借鉴脑科学和认知科学的研究成果，研究从智能产生机理和本质出发的新型智能计算模型与方法，实现具有脑神经信息处理机制和类人智能行为与智能水平的智能系统。在美国、欧盟、日本等国家和地区纷纷启动的脑计划中，类脑智能已成为核心目标之一。英国工程与自然科学研究理事会EPSRC发布并启动了类脑智能研究计划。人机混合智能旨在将人的作用或认知模型引入到人工智能系统中，提升人工智能系统的性能，使人工智能成为人类智能的自然延伸和拓展，通过人机协同更加高效地解决复杂问题。人机混合智能得到了我国新一代人工智能规划、美国脑计划、脸书（脑机语音文本界面）、特斯拉汽车创始人埃隆·马斯克（人脑芯片嵌入和脑机接口）等的高度关注。
（三）从“人工+智能”到自主智能系统。当前人工智能的研究集中在深度学习，但是深度学习的局限是需要大量人工干预：人工设计深度神经网络模型、人工设定应用场景、人工采集和标注大量训练数据（非常费时费力）、用户需要人工适配智能系统等。因此已有科研人员开始关注减少人工干预的自主智能方法，提高机器智能对环境的自主学习能力。例如阿法元从零开始，通过自我对弈强化学习实现围棋、国际象棋、日本将棋的“通用棋类AI”。在人工智能系统的自动化设计方面，2017年谷歌提出的自动化学习系统（AutoML）试图通过自动创建机器学习系统降低AI人员成本。
（四）人工智能将加速与其他学科领域交叉渗透。人工智能本身是一门综合性的前沿学科和高度交叉的复合型学科，研究范畴广泛而又异常复杂，其发展需要与计算机科学、数学、认知科学、神经科学和社会科学等学科深度融合。随着超分辨率光学成像、光遗传学调控、透明脑、体细胞克隆等技术的突破，脑与认知科学的发展开启了新时代，能够大规模、更精细解析智力的神经环路基础和机制，人工智能将进入生物启发的智能阶段，依赖于生物学、脑科学、生命科学和心理学等学科的发现，将机理变为可计算的模型，同时人工智能也会促进脑科学、认知科学、生命科学甚至化学、物理、材料等传统科学的发展。例如，2018年美国麻省理工学院启动的“智能探究计划”（MITIntelligenceQuest）就联合了五大学院进行协同攻关。
（五）人工智能产业将蓬勃发展。随着人工智能技术的进一步成熟以及政府和产业界投入的日益增长，人工智能应用的云端化将不断加速，全球人工智能产业规模在未来十年将进入高速增长期。例如，2016年9月，咨询公司埃森哲发布报告指出，人工智能技术的应用将为经济发展注入新动力，在现有基础上能够提高劳动生产率40%；美、日、英、德、法等12个发达国家（现占全球经济总量的一半）到2035年，年经济增长率平均可以翻一番。2018年麦肯锡的研究报告表明到2030年人工智能新增经济规模将达到13万亿美元。
（六）人工智能将推动人类进入普惠型智能社会。“人工智能+X”的创新模式将随着技术和产业的发展日趋成熟，对生产力和产业结构产生革命性影响，并推动人类进入普惠型智能社会。2017年国际数据公司IDC在《信息流引领人工智能新时代》白皮书中指出未来五年人工智能提升各行业运转效率，其中教育业提升82%，零售业71%，制造业64%，金融业58%。我国经济社会转型升级对人工智能有重大需求，在消费场景和行业应用的需求牵引下，需要打破人工智能的感知瓶颈、交互瓶颈和决策瓶颈，促进人工智能技术与社会各行各业的融合提升，建设若干标杆性的应用场景创新，实现低成本、高效益、广范围的普惠型智能社会。
（七）人工智能领域的国际竞争将日趋激烈。“未来谁率先掌握人工智能，谁就能称霸世界”。2018年4月，欧盟委员会计划2018-2020年在人工智能领域投资240亿美元；法国总统在2018年5月宣布《法国人工智能战略》，目的是迎接人工智能发展的新时代，使法国成为人工智能强国；2018年6月，日本《未来投资战略》重点推动物联网建设和人工智能的应用。世界军事强国已逐步形成以加速发展智能化武器装备为核心的竞争态势，例如美国特朗普政府发布的首份《国防战略》报告即提出谋求通过人工智能等技术创新保持军事优势，确保美国打赢未来战争；俄罗斯2017年提出军工拥抱“智能化”，让导弹和无人机这样的“传统”兵器威力倍增。
（八）人工智能的社会学将提上议程。水能载舟，亦能覆舟。任何高科技也都是一把双刃剑。随着人工智能的深入发展和应用的不断普及，其社会影响日益明显。人工智能应用得当、把握有度、管理规范，就能有效控制负面风险。为了确保人工智能的健康可持续发展并确保人工智能的发展成果造福于民，需要从社会学的角度系统全面地研究人工智能对人类社会的影响，深入分析人工智能对未来经济社会发展的可能影响，制定完善的人工智能法律法规，规避可能风险，确保人工智能的正面效应。2017年9月，联合国犯罪和司法研究所(UNICRI)决定在海牙成立第一个联合国人工智能和机器人中心，规范人工智能的发展。2018年4月，欧洲25个国家签署了《人工智能合作宣言》，从国家战略合作层面来推动人工智能发展，确保欧洲人工智能研发的竞争力，共同面对人工智能在社会、经济、伦理及法律等方面的机遇和挑战。
五、我国人工智能的发展态势与思考
我国当前人工智能发展的总体态势良好。中国信通院联合高德纳咨询公司（Gartner）于2018年9月发布的《2018世界人工智能产业发展蓝皮书》报告统计，我国（不含港澳台地区）人工智能企业总数位列全球第二（1040家），仅次于美国（2039家）。在人工智能总体水平和应用方面，我国也处于国际前列，发展潜力巨大，有望率先突破成为全球领跑者。但是我们也要清醒地看到，我国人工智能发展存在过热和泡沫化风险，特别在基础研究、技术体系、应用生态、创新人才、法律规范等方面仍然存在不少问题。总体而言，我国人工智能发展现状可以用“高度重视，态势喜人，差距不小，前景看好”来概括。
一是高度重视。党和国家高度重视并大力发展人工智能。党的十八大以来，习近平总书记把创新摆在国家发展全局的核心位置，高度重视人工智能发展，多次谈及人工智能的重要性，为人工智能如何赋能新时代指明方向。2016年7月习总书记明确指出，人工智能技术的发展将深刻改变人类社会生活，改变世界，应抓住机遇，在这一高技术领域抢占先机。在党的十九大报告中，习总书记强调“要推动互联网、大数据、人工智能和实体经济深度融合”。在2018年两院院士大会上，习总书记再次强调要“推进互联网、大数据、人工智能同实体经济深度融合，做大做强数字经济”。在2017年和2018年的《政府工作报告》中，李克强总理都提到了要加强新一代人工智能发展。2017年7月，国务院发布了《新一代人工智能发展规划》，将新一代人工智能放在国家战略层面进行部署，描绘了面向2030年的我国人工智能发展路线图，旨在构筑人工智能先发优势，把握新一轮科技革命战略主动，人工智能将成为今后一段时期的国家重大战略。发改委、工信部、科技部、教育部、中央网信办等国家部委和北京、上海、广东、江苏、浙江等地方政府都推出了发展人工智能的鼓励政策。
二是态势喜人。根据2017年爱思唯尔（Elsevier）文献数据库SCOPUS统计结果，我国在人工智能领域发表的论文数量已居世界第一。从2012年开始，我国在人工智能领域新增专利数量已经开始超越美国。据清华大学发布的《中国人工智能发展报告2018》统计，我国已成全球人工智能投融资规模最大国家，我国人工智能企业在人脸识别、语音识别、安防监控、智能音箱、智能家居等人工智能应用领域处于国际前列。近两年，清华大学、北京大学、中国科学院大学、浙江大学、上海交通大学、南京大学等高校纷纷成立人工智能学院。2015年开始的中国人工智能大会（CCAI）已连续成功召开四届、规模不断扩大，人工智能领域的教育、科研与学术活动层出不穷。
三是差距不小。我国人工智能在基础研究、原创成果、顶尖人才、技术生态、基础平台、标准规范等方面距离世界领先水平还存在较大差距。英国牛津大学2018年的一项研究报告指出中国的人工智能发展能力大致为美国的一半水平。目前我国在人工智能前沿理论创新方面总体上尚处于“跟跑”地位，大部分创新偏重于技术应用，存在“头重脚轻”的不均衡现象。在Top700全球AI人才中，中国虽然名列第二，但入选人数远远低于占一半数量的美国。据领英《全球AI领域人才报告》统计，截至2017年一季度全球人工智能领域专业技术人才数量超过190万，其中美国超过85万，我国仅超过5万人，排名全球第7位。2018年市场研究顾问公司CompassIntelligence对全球100多家AI计算芯片企业进行了排名，我国没有一家企业进入前十。另外，我国人工智能开源社区和技术生态布局相对滞后，技术平台建设力度有待加强，国际影响力有待提高。我国参与制定人工智能国际标准的积极性和力度不够，国内标准制定和实施也较为滞后。我国制定完善人工智能相关法律法规的进程需要加快，对可能产生的社会影响还缺少深度分析。
四是前景看好。我国发展人工智能具有市场规模、应用场景、数据资源、人力资源、智能手机普及、资金投入、国家政策支持等多方面的综合优势，人工智能发展前景看好。全球顶尖管理咨询公司埃森哲于2017年发布的《人工智能：助力中国经济增长》报告显示，到2035年人工智能有望推动中国劳动生产率提高27%。我国发布的《新一代人工智能发展规划》提出到2030年，人工智能核心产业规模超过1万亿元，带动相关产业规模超过10万亿元。在我国未来的发展征程中，“智能红利”将有望弥补人口红利的不足。
人类社会已开始迈入智能化时代，人工智能引领社会发展是大势所趋，不可逆转。经历六十余年积累后，人工智能开始进入爆发式增长的红利期。伴随着人工智能自身的创新发展和向经济社会的全面渗透，这个红利期将持续相当长的时期。现在是我国加强人工智能布局、收获人工智能红利、引领智能时代的重大历史机遇期，如何在人工智能蓬勃发展的浪潮中选择好中国路径、抢抓中国机遇、展现中国智慧需要深入思考。
（一）树立理性务实的发展理念。围棋人机大战中阿尔法狗战胜李世石后，社会大众误以为人工智能已经无所不能，一些地方政府、社会企业、风险资金因此不切实际一窝蜂发展人工智能产业，一些别有用心的机构则有意炒作并通过包装人工智能概念来谋取不当利益。这种“一拥而上、一哄而散”的跟风行为不利于人工智能的健康可持续发展。任何事物的发展不可能一直处于高位，有高潮必有低谷，这是客观规律。根据高德纳咨询公司发布的技术发展曲线，当前智能机器人、认知专家顾问、机器学习、自动驾驶等人工智能热门技术与领域正处于期望膨胀期，但是通用人工智能及人工智能的整体发展仍处于初步阶段，人工智能还有很多“不能”，实现机器在任意现实环境的自主智能和通用智能仍然需要中长期理论和技术积累，并且人工智能对工业、交通、医疗等传统领域的渗透和融合是个长期过程，很难一蹴而就。因此发展人工智能不能以短期牟利为目的，要充分考虑到人工智能技术的局限性，充分认识到人工智能重塑传统产业的长期性和艰巨性，理性分析人工智能发展需求，理性设定人工智能发展目标，理性选择人工智能发展路径，并务实推进人工智能发展举措，只有这样才能确保人工智能健康可持续发展。
（二）加强基础扎实的原创研究。人工智能前沿基础理论是人工智能技术突破、行业革新、产业化推进的基石。在此发展的临界点，要想取得最终的话语权，必须在人工智能基础理论和前沿技术方面取得重大突破。根据2017年爱思唯尔文献数据库SCOPUS统计结果，尽管我国在人工智能领域发表的论文数量已经排名世界第一，但加权引文影响力则只排名34位。为了客观评价我国在人工智能基础研究方面的整体实力，我们搜索了SCI期刊、神经信息处理系统大会（ConferenceonNeuralInformationProcessingSystems，简称NIPS）等主流人工智能学术会议关于通用智能、深度学习、类脑智能、脑智融合、人机博弈等关键词的论文统计情况，可以清楚看到在人工智能前沿方向中国与美国相比基础实力存在巨大差距：在高质量论文数量方面（按中科院划定的SCI一区论文标准统计），美国是中国的5.34倍（1325:248）；在人才储备方面（SCI论文通讯作者），美国是中国的2.12倍（4804:2267）。
我国应对标国际最高水平，建设面向未来的人工智能基础科学研究中心，重点发展原创性、基础性、前瞻性、突破性的人工智能科学。应该鼓励科研人员瞄准人工智能学科前沿方向开展引领性原创科学研究，通过人工智能与脑认知、神经科学、心理学等学科的交叉融合，重点聚焦人工智能领域的重大基础性科学问题，形成具有国际影响力的人工智能原创理论体系，为构建我国自主可控的人工智能技术创新生态提供领先跨越的理论支撑。
（三）构建自主可控的创新生态。美国谷歌、IBM、微软、脸书等企业在AI芯片、服务器、操作系统、开源算法、云服务、无人驾驶等方面积极构建创新生态、抢占创新高地，已经在国际人工智能产业格局中占据先机。我国人工智能开源社区和技术创新生态布局相对滞后，技术平台建设力度有待加强，国际影响力有待提高。美国对中兴通讯发禁令一事充分说明自主可控“核高基”技术的重要性，我国应该吸取在核心电子器件、高端通用芯片及基础软件方面依赖进口的教训，避免重蹈覆辙，着力防范人工智能时代“空心化”风险，系统布局并重点发展人工智能领域的“新核高基”：“新”指新型开放创新生态，如军民融合、产学研融合等；“核”指核心关键技术与器件，如先进机器学习技术、鲁棒模式识别技术、低功耗智能计算芯片等；“高”指高端综合应用系统与平台，如机器学习软硬件平台、大型数据平台等；“基”指具有重大原创意义和技术带动性的基础理论与方法，如脑机接口、类脑智能等。
另外，我们需要重视人工智能技术标准的建设、产品性能与系统安全的测试。特别是我国在人工智能技术应用方面走在世界前列，在人工智能国际标准制定方面应当掌握话语权，并通过标准实施加速人工智能驱动经济社会转型升级的进程。
（四）建立协同高效的创新体系。我国经济社会转型升级对人工智能有重大需求，但是单一的创新主体很难实现政策、市场、技术、应用等方面的全面突破。目前我国学术界、产业界、行业部门在人工智能发展方面各自为政的倾向比较明显，数据资源开放共享不够，缺少对行业资源的有效整合。相比而言，美国已经形成了全社会、全场景、全生态协同互动的人工智能协同创新体系，军民融合和产学研结合都做得很好。我国应在体制机制方面进一步改革创新，建立“军、政、产、学、研、用”一体的人工智能协同创新体系。例如，国家进行顶层设计和战略规划，举全国优势力量设立军事智能的研发和应用平台，提供“人工智能+X”行业融合、打破行业壁垒和行政障碍的激励政策；科技龙头企业引领技术创新生态建设，突破人工智能的重大技术瓶颈；高校科研机构进行人才培养和原始创新，着力构建公共数据资源与技术平台，共同建设若干标杆性的应用创新场景，推动成熟人工智能技术在城市、医疗、金融、文化、农业、交通、能源、物流、制造、安全、服务、教育等领域的深度应用，建设低成本高效益广范围的普惠型智能社会。
（五）加快创新人才的教育培养。发展人工智能关键在人才，中高端人才短缺已经成为我国人工智能做大做强的主要瓶颈。另外，我国社会大众的人工智能科技素养也需要进一步提升，每一个人都需要去适应人工智能时代的科技浪潮。在加强人工智能领军人才培养引进的同时，要面向技术创新和产业发展多层次培养人工智能创新创业人才。《新一代人工智能发展规划》提出逐步开展全民智能教育项目，在中小学阶段设置人工智能课程。目前人工智能科普活动受到各地学校的欢迎，但是缺少通俗易懂的高质量人工智能科普教材、寓教于乐的实验设备和器材、开放共享的教学互动资源平台。国家相关部门应高度重视人工智能教育领域的基础性工作，增加投入，组织优势力量，加强高水平人工智能教育内容和资源平台建设，加快人工智能专业的教学师资培训，从教材、教具、教师等多个环节全面保障我国人工智能教育工作的开展。
（六）推动共担共享的全球治理。人工智能将重塑全球政治和经济格局，发达国家通过人工智能技术创新掌控了产业链上游资源，难以逾越的技术鸿沟和产业壁垒有可能将进一步拉大发达国家和发展中国家的生产力发展水平差距。美国、日本、德国等通过人工智能和机器人的技术突破和广泛应用弥补他们的人力成本劣势，希望制造业从新兴国家回流发达国家。目前看，我国是发展中国家阵容中唯一有望成为全球人工智能竞争中的领跑者，应采取不同于一些国家的“经济垄断主义、技术保护主义、贸易霸凌主义”路线，尽快布局构建开放共享、质优价廉、普惠全球的人工智能技术和应用平台，配合国家“一带一路”战略，向亚洲、非洲、南美等经济欠发达地区输出高水平、低成本的“中国智造”成果、提供人工智能时代的中国方案，为让人工智能时代的“智能红利”普惠人类命运共同体做出中国贡献！
（七）制定科学合理的法律法规。要想实实在在收获人工智能带来的红利，首先应保证其安全、可控、可靠发展。美国和欧洲等发达国家和地区十分重视人工智能领域的法律法规问题。美国白宫多次组织这方面的研讨会、咨询会；特斯拉等产业巨头牵头成立OpenAI等机构，旨在以有利于整个人类的方式促进和发展友好的人工智能；科研人员自发签署23条“阿西洛马人工智能原则”，意图在规范人工智能科研及应用等方面抢占先机。我国在人工智能领域的法律法规制定及风险管控方面相对滞后，这种滞后局面与我国现阶段人工智能发展的整体形势不相适应，并可能成为我国人工智能下一步创新发展的一大掣肘。因此，有必要大力加强人工智能领域的立法研究，制定相应的法律法规，建立健全公开透明的人工智能监管体系，构建人工智能创新发展的良好法规环境。
（八）加强和鼓励人工智能社会学研究。人工智能的社会影响将是深远的、全方位的。我们当未雨绸缪，从国家安全、社会治理、就业结构、伦理道德、隐私保护等多个维度系统深入研究人工智能可能的影响，制定合理可行的应对措施，确保人工智能的正面效应。应大力加强人工智能领域的科普工作，打造科技与伦理的高效对话机制和沟通平台，消除社会大众对人工智能的误解与恐慌，为人工智能的发展营造理性务实、积极健康的社会氛围。
六、结束语
人工智能经过60多年的发展，进入了创新突破的战略机遇期和产业应用的红利收获期，必将对生产力和产业结构以及国际格局产生革命性影响，并推动人类进入普惠型智能社会。但是，我们需要清醒看到通用人工智能及人工智能的整体发展仍处于初级阶段，人工智能不是万能，人工智能还有很多“不能”。我们应当采取理性务实的发展路径，扎实推进基础研究、技术生态、人才培养、法律规范等方面的工作，在开放中创新，在创新中发展，全速跑赢智能时代，着力建设人工智能科技强国！
（主讲人系中国科学院院士）
集大成者！可解释人工智能(XAI)研究最新进展万字综述论文: 概念体系机遇和挑战—构建负责任的人工智能
转自专知
地址：https://www.zhuanzhi.ai/paper/e9f05516bbee0d997460bfb961b18d3a
摘要
在过去的几年里，人工智能(AI)取得了显著的发展势头，在不同领域的许多应用中它可能会带来最好的预期。当这种情况发生时，整个社区都面临可解释性的障碍，这是人工智能技术的一个内在问题，它是由次象征主义(模型例如集成算法或深层神经网络)带来的，而这些在人工智能的最上一次高潮中是不存在的。这个问题背后的范例属于所谓的可解释AI(XAI)领域，它被认为是AI模型实际部署的一个关键特性。本文综述了XAI领域的现有文献，并对未来的研究方向进行了展望。我们总结了在机器学习中定义可解释性的前期工作，建立了一个新的定义，它涵盖了先前的概念命题，主要关注可解释性所关心的受众。然后，我们提出并讨论了与不同机器学习模型的可解释性相关的最近贡献的分类，包括那些旨在建立第二种体系的深度学习方法。这篇文献分析为XAI面临的一系列挑战提供了背景，比如数据融合和可解释性之间的十字路口。我们构建了负责任的人工智能的概念，即一种以公平、模型可解释性和问责性为核心的在真实组织中大规模实施人工智能方法的方法。最终目标是为XAI的新来者提供参考资料，以促进未来的研究进展，同时也鼓励其他学科的专家和专业人员在他们的活动领域拥抱AI的好处，而不是因为它缺乏可解释性而事先有任何偏见。
关键词: 可解释人工智能，机器学习，深度学习，数据融合，可解释性，可理解性，透明性，隐私，公平性，可问责性，负责任的人工智能。
目录
1.引言
2.可解释性:是什么，为什么，什么目标，怎么做?
3.透明机器学习模型
4.机器学习模型的后解释技术:分类法、浅层模型和深度学习
5.XAI:机遇、挑战和研究需求
6.走向负责任的人工智能:人工智能、公平、隐私和数据融合的原则
7.结论和展望
1.引言
人工智能(AI)是许多采用新信息技术的活动领域的核心。人工智能的起源可以追溯到几十年前，人们对于智能机器具有学习、推理和适应能力的重要性有着明确的共识。正是凭借这些能力，人工智能方法在学习解决日益复杂的计算任务时达到了前所未有的性能水平，这对人类社会[2]的未来发展至关重要。近来，人工智能系统的复杂程度已经提高到几乎不需要人为干预来设计和部署它们。当来自这些系统的决策最终影响到人类的生活(例如，医学、法律或国防)时，就有必要了解这些决策是如何由人工智能方法[3]提供的。
最早的人工智能系统是很容易解释的，过去的几年见证了不透明的决策系统的兴起，比如深度神经网络(DNNs)。深度学习(DL)模型(如DNNs)的经验成功源于高效的学习算法及其巨大的参数空间的结合。后一个空间由数百层和数百万个参数组成，这使得DNNs被认为是复杂的黑盒模型[4]。black-box-ness的反义词是透明性，即以寻求对模型工作机理的直接理解。
随着黑箱机器学习(ML)模型越来越多地被用于在关键环境中进行重要的预测，人工智能[6]的各个利益相关者对透明度的要求也越来越高。危险在于做出和使用的决策不合理、不合法，或者不允许对其行为进行详细的解释。支持模型输出的解释是至关重要的，例如，在精准医疗中，为了支持诊断[8]，专家需要从模型中获得远比简单的二进制预测多得多的信息。其他例子包括交通、安全、金融等领域的自动驾驶汽车。
一般来说，考虑到对合乎道德的人工智能[3]日益增长的需求，人类不愿采用不能直接解释、处理和信任的[9]技术。习惯上认为，如果只关注性能，系统将变得越来越不透明。从模型的性能和它的透明性[10]之间的权衡来看，这是正确的。然而，对一个系统理解的提高可以导致对其缺陷的修正。在开发ML模型时，将可解释性考虑为额外的设计驱动程序可以提高其可实现性，原因有三:
可解释性有助于确保决策的公正性，即检测并纠正训练数据集中的偏差。可解释性通过强调可能改变预测的潜在对抗性扰动，促进了稳健性的提供。可解释性可以作为一种保证，即只有有意义的变量才能推断出输出，即，以确保模型推理中存在真实的因果关系。这意味着，为了考虑实际，系统的解释应该要么提供对模型机制和预测的理解，要么提供模型识别规则的可视化，要么提供可能扰乱模型[11]的提示。
为了避免限制当前一代人工智能系统的有效性，可解释人工智能(XAI)[7]建议创建一套ML技术，1)产生更多可解释的模型，同时保持高水平的学习性能(如预测准确性)，2) 使人类能够理解、适当信任和有效管理新一代人工智能伙伴。XAI还借鉴了社会科学的[12]，并考虑了解释心理学。
这篇综述的其余部分的结构如下:首先，第2节和其中的子节围绕AI中的可解释性和可解释性展开了关于术语和概念的讨论，最后得出前面提到的可解释性的新定义(第2.1和2.2小节)，以及从XAI的角度对ML模型进行分类和分析的一般标准。第3节和第4节回顾了ML模型(分别是透明模型和事后技术)的XAI的最新发现，它们构成了上述分类中的主要部分。同时，我们也回顾了这两种方法的混合，以达到XAI。在第5节中讨论了各种方法之间的协同作用的好处和注意事项，在这里，我们提出了对一般挑战的展望和需要谨慎对待的一些后果。最后，第6节阐述了负责任的人工智能的概念。第7节总结了调查，目的是让社区参与到这一充满活力的研究领域中来，这一领域有可能影响社会，特别是那些逐渐将ML作为其活动核心技术的部门。
2.可解释性:是什么，为什么，怎么做?
在继续我们的文献研究之前，我们可以先建立一个共同的观点来理解在AI的可解释性这个术语，更具体地说是ML中的含义。这确实是本节的目的，即暂停对这个概念的大量定义(什么?)，讨论为什么可解释性在AI和ML中是一个重要的问题(为什么?目的何在?)，并介绍XAI方法的一般分类，这将推动此后的文献研究(如何?)。
2.1术语说明
阻碍建立共同基础的问题之一是interpretability和explainability在文献中的互换误用。这些概念之间存在着显著的差异。首先，interpretability是指一个模型的被动特性，指的是一个给定的模型对人类观察者有意义的程度。这个特性也表示为透明性。相比之下，explainability可以被看作是模型的主动特征，表示模型为了阐明或详述其内部功能而采取的任何动作或过程。为了总结最常用的命名法，在本节中，我们将阐明在伦理AI和XAI社区中常用的术语之间的区别和相似性。
Understandability(或等同地，intelligibility)指的是一个模型的特征，使人理解其功能——模型如何工作——而不需要解释其内部结构或模型内部处理数据[18]的算法方法。Comprehensibility:在ML模型中，可理解性是指学习算法以人类可理解的方式表示其已学知识的能力[19,20,21]。这种模型可理解性的概念源于Michalski[22]的假设，即“计算机归纳的结果应该是对给定实体的符号描述，在语义和结构上类似于人类专家可能产生的观察相同实体的结果。”这些描述的组成部分应作为单一的‘信息块’可理解，可直接用自然语言解释，并应以综合方式将定量和定性概念联系起来”。由于难以量化，可理解性通常与模型复杂度[17]的评估联系在一起。Interpretability可解释性是指以可理解的语言向人类解释或提供意义的能力。Explainability可解释性与作为人类和决策者之间的接口的解释概念相关，同时，这也是决策者的准确代理，也是人类可以理解的[17]。Transparency 透明度:如果一个模型本身是可以理解的，那么它就被认为是透明的。由于模型具有不同程度的可理解性，因此第3节中的透明模型分为三类: 可模拟模型、可分解模型和算法透明模型[5]。2.2什么?
虽然这可能被认为超出了本文的范围，但值得注意的是在哲学领域[23]中围绕一般解释理论展开的讨论。在这方面已经提出了许多建议，建议需要一种普遍的、统一的理论来近似解释的结构和意图。然而，在提出这样一个普遍的理论时，没有人经得起批评。就目前而言，最一致的想法是将不同的解释方法从不同的知识学科中融合在一起。在处理人工智能的可解释性时也发现了类似的问题。从文献中似乎还没有一个共同的观点来理解什么是可解释性或可解释性。然而，许多贡献声称是可解释(interpretable)模型和技术的成就增强了可解释性(explainability).
为了阐明这种缺乏共识的情况，我们不妨以D.Gunning在[7]中给出的可解释人工智能(XAI)的定义作为参考起点:“XAI将创造一套机器学习技术，使人类用户能够理解、适当信任并有效管理新一代人工智能合作伙伴。
这个定义结合了两个需要提前处理的概念(理解和信任)。然而，它忽略了其他目的，如因果关系、可转移性、信息性、公平性和信心等，从而激发了对可解释AI模型的需求[5,24,25,26]。
进一步修正，我们给出explainableAI的定义：给定一个受众，一个可解释的人工智能是一个产生细节或理由使其功能清晰或容易理解的人工智能。
这个定义在这里作为当前概述的第一个贡献，隐含地假设XAI技术针对当前模型的易用性和清晰性在不同的应用目的上有所恢复，比如更好地让用户信任模型的输出。
2.3为什么?
如引言所述，可解释性是人工智能在实际应用中面临的主要障碍之一。无法解释或完全理解最先进的ML算法表现得如此出色的原因是一个问题，它的根源有两个不同的原因，如图2所示。
2.4什么目标？
到目前为止，围绕XAI的研究已经揭示出了不同的目标，以便从一个可解释的模型的实现中得出结论。几乎没有一篇被调研的论文在描述一个可解释的模型所要求的目标上是完全一致的。尽管如此，所有这些不同的目标都可能有助于区分特定的ML可解释性的目的。不幸的是，很少有人试图从概念的角度来界定这些目标[5、13、24、30]。我们现在综合并列举这些XAI目标的定义，以便为这篇综述涵盖的所有论文确定第一个分类标准:
可信赖性Trustworthiness:一些作者同意将可信赖性作为可解释AI模型的主要目标[31,32]。然而，根据模型诱导信任的能力将模型声明为可解释的可能并不完全符合模型可解释性的要求。可信度可以被认为是一个模型在面对给定问题时是否会按预期行事的信心。虽然它肯定是任何可解释模型的一个属性，但它并不意味着每一个值得信任的模型都可以被认为是可解释的，可信度也不是一个容易量化的属性。信任可能远远不是可解释模型的唯一目的，因为两者之间的关系，如果达成一致，并不是相互的。在综述的论文中，有一部分提到了信任的概念。但是，如表1所示，它们在最近与XAI相关的贡献中所占的份额并不大。因果关系Causality:可解释性的另一个常见目标是发现数据变量之间的因果关系。一些作者认为，可解释的模型可能简化了寻找关系的任务，如果它们发生，可以进一步测试所涉及的变量之间更强的因果关系[159,160]。从观测数据推断因果关系是一个随着时间的推移已经被广泛研究的领域[161]。正如从事这一主题的社区所广泛承认的那样，因果关系需要一个广泛的先验知识框架来证明所观察到的影响是因果关系。ML模型只发现它所学习的数据之间的相关性，因此可能不足以揭示因果关系。然而，因果关系涉及到相关性，所以一个可解释的ML模型可以验证因果推理技术提供的结果，或者在现有数据中提供可能的因果关系的第一直觉。同样，表1显示，如果我们关注那些将因果关系明确表述为目标的论文数量，因果关系就不是最重要的目标之一。可转移性Transferability: 模型总是受到一些约束，这些约束应该考虑到模型的无缝可转移性。这就是为什么在处理ML问题时使用训练-测试方法的主要原因[162,163]。可解释性也是可转移性的倡导者，因为它可以简化阐明可能影响模型的边界的任务，从而更好地理解和实现。类似地，仅仅理解模型中发生的内部关系有助于用户在另一个问题中重用这些知识。在某些情况下，缺乏对模型的正确理解可能会将用户推向错误的假设和致命的后果[44,164]。可转移性也应该落在可解释模型的结果属性之间，但同样，不是每个可转让性模型都应该被认为是可解释的。正如在表1中所观察到的，大量的论文指出，将一个模型描述为可解释的是为了更好地理解复用它或提高它的性能所需要的概念，这是追求模型可解释性的第二个最常用的理由。信息性Informativeness:ML模型的最终目的是支持决策[92]。然而，不应该忘记的是，模型所解决的问题并不等于它的人类对手所面临的问题。因此，为了能够将用户的决策与模型给出的解决方案联系起来，并避免陷入误解的陷阱，需要大量的信息。为此，可解释的ML模型应该提供有关正在处理的问题的信息。在文献综述中发现的主要原因是为了提取模型内部关系的信息。几乎所有的规则提取技术都证实了它们在寻找模型内部功能的更简单理解方面的方法，说明知识(信息)可以用这些更简单的代理来表示，它们认为这些代理可以解释先行词。这是在综述的论文中发现的最常用的论点，用来支持他们所期望的可解释模型。置信度Confidence: 作为稳健性和稳定性的概括，置信度的评估应该始终基于一个预期可靠性的模型。在控制下保持信心的方法因模型的不同而不同。正如在[165,166,167]中所述，当从某个模型中提取解释时，稳定性是必须具备的。可靠的解释不应该由不稳定的模型产生。因此，一个可解释的模型应该包含关于其工作机制可信度的信息。公平性Fairness:从社会的角度来看，在ML模型中，可解释性可以被认为是达到和保证公平性的能力。在一个特定的文献链中，一个可解释的ML模型建议对影响结果的关系进行清晰的可视化，允许对手头的模型进行公平或伦理分析[3,100]。同样，XAI的一个相关目标是强调模型所暴露的数据中的偏差[168,169]。在涉及人类生活的领域，对算法和模型的支持正在迅速增长，因此，可解释性应被视为避免不公平或不道德地使用算法输出的桥梁。Accessibility可访问性:评审贡献的认为可解释性是允许最终用户更多地参与改进和开发某个ML模型的过程的属性[37,86]。显然，可解释的模型将减轻非技术或非专业用户在处理乍一看似乎不可理解的算法时的负担。这一概念在被调查的文献中被认为是第三个最重要的目标。交互性Interactivity:一些贡献[50,59]包括模型与用户交互的能力，这是可解释的ML模型的目标之一。同样，这个目标与最终用户非常重要的领域相关，他们调整模型并与之交互的能力是确保成功的关键。隐私意识Privacyawareness:在回顾的文献中，几乎被遗忘的是，ML模型中可解释性的副产品之一是它评估隐私的能力。ML模型可能具有其所学习模式的复杂表示。无法理解模型[4]捕获并存储在其内部表示中的内容可能会导致隐私被破坏。相反，由未经授权的第三方解释训练过的模型的内部关系的能力也可能会损害数据来源的差异隐私。由于其在XAI预计将发挥关键作用的行业中的重要性，机密性和隐私问题将分别在第5.4和6.3小节中进一步讨论。本小节回顾了所调研论文的广泛范围内所涉及的目标。所有这些目标都清楚地隐藏在本节前面介绍的可解释性概念的表面之下。为了总结之前对可解释性概念的分析，最后一小节讨论了社区为解决ML模型中的可解释性所采取的不同策略。
2.5怎么样？
文献明确区分了可以通过设计解释的模型和可以通过外部XAI技术解释的模型。这种双重性也可以看作是可解释模型与模型可解释技术的区别;更广泛接受的分类是透明模型和事后可解释性。同样的对偶性也出现在[17]的论文中，作者所做的区分是指解决透明盒设计问题的方法，而不是解释黑盒子问题的方法。这项工作进一步扩展了透明模型之间的区别，包括考虑的不同透明度级别。
在透明性中，考虑了三个层次: 算法透明性、可分解性和可模拟性。在后设技术中，我们可以区分文本解释、可视化、局部解释、实例解释、简化解释和特征关联。在这种情况下，[24]提出了一个更广泛的区别:1）区分不透明的系统，其中从输入到输出的映射对用户来说是不可见的;2)可解释系统，用户可以对映射进行数学分析;3)可理解的系统，在这个系统中，模型应该输出符号或规则以及它们的特定输出，以帮助理解映射背后的基本原理。最后一个分类标准可以被认为包含在前面提出的分类标准中，因此本文将尝试遵循更具体的分类标准。
3.透明机器学习模型
前一节介绍了透明模型的概念。如果一个模型本身是可以理解的，那么它就被认为是透明的。本节调查的模型是一套透明模型，它可以属于前面描述的模型透明性的一个或所有级别(即可模拟性、可分解性和算法透明性)。在接下来的部分中，我们提供了该语句的理由，并提供了图6与图7中所示支持。
4.机器学习模型的后解释技术:分类法、浅层模型和深度学习
当ML模型不满足宣布它们透明的任何标准时，必须设计一个单独的方法并应用于模型来解释它的决策。这就是事后可解释性技术(也称为建模后可解释性)的目的，它的目的是交流关于已经开发的模型如何对任何给定输入产生预测的可理解信息。在本节中，我们将对不同的算法方法进行分类和回顾，这些算法方法用于事后可解释性，区别于1) 那些为应用于任何类型的ML模型而设计的算法方法; 2) 那些是为特定的ML模型设计的，因此，不能直接推断到任何其他学习者。现在，我们详细阐述了不同ML模型的事后可解释性方面的趋势，这些趋势在图8中以分层目录的形式进行了说明，并在下面进行了总结:
用于事后解释的模型无关技术(4.1小节)，可以无缝地应用于任何ML模型，而不考虑其内部处理或内部表示。专为解释某些ML模型而定制或专门设计的事后解释能力。我们将我们的文献分析分为两个主要的分支:浅层ML模型的事后可解释性的贡献，这些贡献统称为所有不依赖于神经处理单元的分层结构的ML模型(第4.2小节);以及为深度学习模型设计的技术，这些技术相应地表示神经网络家族和相关变体，如卷积神经网络、递归神经网络(4.3小节)和包含深度神经网络和透明模型的混合方案。对于每一个模型，我们都对研究界提出的最新的事后方法进行了彻底的审查，并确定了这些贡献所遵循的趋势。我们以4.4小节结束了我们的文献分析，在4.4小节中，我们提出了第二种分类法，通过对处理深度学习模型的事后解释的贡献进行分类，对图6中更一般的分类进行了补充。为此，我们将重点关注与这类黑盒ML方法相关的特定方面，并展示它们如何链接到第一种分类法中使用的分类标准。4.1 用于事后可解释性的模型不可知技术
用于事后可解释性的模型无关技术被设计成插入到任何模型，目的是从其预测过程中提取一些信息。有时，使用简化技术来生成模仿其前身的代理，目的是为了获得易于处理和降低复杂性的东西。其他时候，意图集中在直接从模型中提取知识，或者简单地将它们可视化，以简化对其行为的解释。根据第2节中介绍的分类法，与模型无关的技术可能依赖于模型简化、特征相关性估计和可视化技术。
4.2 浅ML模型的事后解释能力
ShallowML覆盖了多种监督学习模型。在这些模型中，有一些严格可解释的(透明的)方法(如KNN和决策树，已经在第3节中讨论过)。考虑到它们在预测任务中的突出地位和显著性能，本节将集中讨论两种流行的浅ML模型(树集成和支持向量机，SVMs)，它们需要采用事后可解释性技术来解释它们的决策
4.3 深度学习的可解释性
事后局部解释和特征相关技术正日益成为解释DNNs的主要方法。本节回顾了最常用的DL模型，即多层神经网络、卷积神经网络(CNN)和递归神经网络(RNN)的可解释性研究。
5.XAI:机遇、挑战和研究需求
现在，我们利用已完成的文献回顾，对ML和数据融合模型的可解释性领域的成就、趋势和挑战提出了批评。实际上，我们在讨论到目前为止在这一领域取得的进展时，已经预见到了其中的一些挑战。在本节中，我们将重新审视这些问题，并为XAI探索新的研究机会，找出可能的研究路径，以便在未来几年有效地解决这些问题:
在可解释性和性能之间的权衡
可解释性与性能的问题是一个随着时间不断重复的问题，但就像任何其他大命题一样，它的周围充满了神话和误解。
6.走向负责任的人工智能:人工智能、公平、隐私和数据融合的原则
多年来，许多组织，无论是私人的还是公共的，都发布了指导方针，指出人工智能应该如何开发和使用。这些指导方针通常被称为人工智能原则，它们处理与个人和整个社会潜在的人工智能威胁相关的问题。本节将介绍一些最重要和被广泛认可的原则，以便将XAI(通常出现在它自己的原则中)与所有这些原则联系起来。如果在实践中寻求一个负责任的AI模型的实现和使用，我们公司声称XAI本身是不够的。其他重要的人工智能原则，如隐私和公平，在实践中必须谨慎处理。在接下来的章节中，我们将详细阐述负责任人工智能的概念，以及XAI和数据融合在实现其假设原则中的含义。
6.1人工智能原则PrinciplesofArtificialIntelligence
使用人工智能系统后的输出不应导致在种族、宗教、性别、性取向、残疾、种族、出身或任何其他个人条件方面对个人或集体产生任何形式的歧视。因此，在优化人工智能系统的结果时要考虑的一个基本标准不仅是它们在错误优化方面的输出，而且是系统如何处理这些状况。这定义了公平AI的原则。人们应该知道什么时候与人交流，什么时候与人工智能系统交流。人们还应该知道他们的个人信息是否被人工智能系统使用，以及用于什么目的。确保对人工智能系统的决策有一定程度的理解是至关重要的。这可以通过使用XAI技术来实现。重要的是，生成的解释要考虑将接收这些解释的用户的配置文件(根据小节2.2中给出的定义，所谓的受众)，以便调整透明度级别，如[45]中所示。这定义了透明和可解释AI的原则。人工智能产品和服务应始终与联合国的可持续发展目标保持一致[375]，并以积极和切实的方式为之做出贡献。因此，人工智能应该总是为人类和公共利益带来好处。这定义了以人为中心的人工智能的原则(也称为社会公益的人工智能[376])。人工智能系统，尤其是当它们由数据提供信息时，应该在其整个生命周期中始终考虑隐私和安全标准。这一原则并不排斥人工智能系统，因为它与许多其他软件产品共享。因此，它可以从公司内部已经存在的流程中继承。这通过设计定义了隐私和安全的原则，这也被认为是负责任的研究和创新范式下智能信息系统面临的核心伦理和社会挑战之一(RRI，[377])。RRI指的是一套方法学指南和建议，旨在从实验室的角度考虑更广泛的科学研究背景，以应对全球社会挑战，如可持续性、公众参与、伦理、科学教育、性别平等、开放获取和治理。有趣的是，RRI还要求在遵循其原则的项目中确保开放性和透明度，这与前面提到的透明和可解释的AI原则直接相关。作者强调，所有这些原则都应该扩展到任何第三方(供应商、顾问、合作伙伴……)6.2 公平和责任
如前一节所述，除了XAI之外，在过去十年中发布的不同AI原则指导方针中还包括许多关键方面。然而，这些方面并不是完全脱离了XAI;事实上，它们是交织在一起的。本节介绍了与人工智能原则指导具有巨大相关性的两个关键组成部分，即公平性和可说明性。这也突出了它们与XAI的联系。
6.3隐私与数据融合
如今，几乎所有领域的活动中都存在着越来越多的信息源，这就要求采用数据融合方法，同时利用这些信息源来解决学习任务。通过合并异构信息，数据融合已被证明可以在许多应用程序中提高ML模型的性能。本节通过数据融合技术的潜力进行推测，以丰富ML模型的可解释性，并对从中学习ML模型的数据的私密性做出妥协。为此，我们简要概述了不同的数据融合范式，并从数据隐私的角度进行了分析。我们稍后会讲到，尽管XAI与负责任的人工智能相关，但在当前的研究主流中，XAI与数据融合是一个未知的研究领域。
7.结论和展望
这篇综述围绕着可解释的人工智能(XAI)展开，它最近被认为是在现实应用中采用ML方法的最大需求。我们的研究首先阐明了模型可解释性背后的不同概念，并展示了激发人们寻找更多可解释的ML方法的各种目的。这些概念性的评注已经成为一个坚实的基础，系统地回顾最近关于可解释性的文献，这些文献从两个不同的角度进行了探讨:1) ML模型具有一定程度的透明性，因此可以在一定程度上自行解释;2) 后特设XAI技术的设计，使ML模型更容易解释。这个文献分析已经产生了一个由社区报告的不同提案的全球分类，在统一的标准下对它们进行分类。在深入研究深度学习模型可解释性的贡献越来越普遍的情况下，我们深入研究了有关这类模型的文献，提出了一种可选择的分类方法，可以更紧密地连接深度学习模型可解释性的具体领域。
我们的讨论已经超越了XAI领域目前所取得的成果，转向了负责任的AI概念，即在实践中实现AI模型时必须遵循的一系列AI原则，包括公平、透明和隐私。我们还讨论了在数据融合的背景下采用XAI技术的含义，揭示了XAI在融合过程中可能会损害受保护数据的隐私。对XAI在公平方面的含义也进行了详细的讨论。
我们对XAI未来的思考，通过在整个论文中进行的讨论，一致认为有必要对XAI技术的潜力和警告进行适当的理解。我们的设想是，模型的可解释性必须与数据隐私、模型保密性、公平性和可靠性相关的需求和约束一起解决。只有联合研究所有这些人工智能原则，才能保证在全世界的组织和机构中负责任地实施和使用人工智能方法。
参考文献
S.J.Russell,P.Norvig,Artificialintelligence:amodernapproach,Malaysia;PearsonEducation Limited,,2016.D.M.West,Thefutureofwork:robots,AI,andautomation,BrookingsInstitutionPress,2018.S.J.Russell,P.Norvig,Artificialintelligence:amodernapproach,Malaysia;PearsonEducationLimited,,2016.D.M.West,Thefutureofwork:robots,AI,andautomation,BrookingsInstitutionPress,2018.B.Goodman,S.Flaxman,Europeanunionregulationsonalgorithmicdecision-makingandarighttoexplanation,AIMagazine38(3)(2017)50–57.D.Castelvecchi,CanweopentheblackboxofAI?,NatureNews538(7623)(2016)20.Z.C.Lipton,Themythosofmodelinterpretability,Queue16(3)(2018)30:31–30:57.A.Preece,D.Harborne,D.Braines,R.Tomsett,S.Chakraborty,StakeholdersinExplainableAI(2018).arXiv:1810.00184.D.Gunning,Explainableartificialintelligence(xAI),Tech.rep.,DefenseAdvancedResearchProjectsAgency(DARPA)(2017).E.Tjoa,C.Guan,Asurveyonexplainableartificialintelligence(XAI):TowardsmedicalXAI(2019).arXiv:1907.07374.J.Zhu,A.Liapis,S.Risi,R.Bidarra,G.M.Youngblood,ExplainableAIfordesigners:Ahumancenteredperspectiveonmixed-initiativeco-creation,2018IEEEConferenceonComputationalIntelligenceandGames(CIG)(2018)1–8.F.K.Do˜silovi´c,M.Br˜ci´c,N.Hlupi´c,Explainableartificialintelligence:Asurvey,in:41stInternationalConventiononInformationandCommunicationTechnology,ElectronicsandMicroelectronics(MIPRO),2018,pp.210–215.