人工智能产品缺陷司法认定标准之研究
2015年2月，英国首例机器人“达芬奇”心瓣修复手术进行中，不仅把病人的心脏“放错位置”，还戳穿大动脉血溅摄像头，致使该患者在术后一周去世。美国2000年至2013年间，在“达芬奇”机器人手术中致死的患者已达144人，其中不乏“机器人短路走火”“零件掉入体内”等原因[1]。国内近年来也多次出现“达芬奇”手术机器人相关医疗事故①。2016年1月20日，河北邯郸发生了一起装有自动驾驶设备的特斯拉汽车未能有效识别突然进入车道的白色车辆，而致驾驶员死亡的交通事故[2]。该案也是全球第一例因自动驾驶汽车致人死亡而导致的产品责任诉讼案件[3]。而后，美国加利福尼亚州、亚利桑那州、宾夕法尼亚州，以及中国北京[4]陆续出现了不同损害程度的交通事故。以医疗机器人、自动驾驶汽车为代表的人工智能产品责任问题至今没有“标准答案”[5-6]。产品缺陷的司法认定是人工智能相应主体责任承担的基础，也是规制人工智能发展以及维护社会和谐运作的关键一环，具有决定性意义[7]。但由于人工智能产品的自主性，使其在司法环节认定缺陷时比普通产品更为复杂，也即，“旧的认定规则与表达方式不能够适应新问题的出现”。但我们依然可以试图从产品责任框架内去寻求解释的空间，在原有的基础上更新表达方式，清晰界定人工智能产品缺陷的司法认定标准。这对于人工智能产品责任制度的完善具有重要意义。
①笔者在北大法宝查询到12份因“达芬奇”手术机器人致损的医疗侵权相关判决书，北大法宝网，http://www.pkulaw.cn/Case/，2020年6月7日访问。
一、现有规则表达在人工智能产品缺陷的司法认定上存在困境(一)人工智能产品与普通产品的区别人工智能是指能够感知其所处环境，从环境中获取数据，并对这些数据推理从而进行自主决策和动作的程序或者设备系统[8]，并具有以下特征：(1)通过搜索数据解决问题，人工智能在遇到问题时，通常是根据设计研发者事先向其输入的数据进行分析和判断来确定解决方案;(2)能够独立从数据中学习新的规则与知识，并将学习的内容转化为下一步行动的规则;(3)能够理解自然语言，通过对人类语言的理解和学习进行人机交互，完成人工智能与人类的实时对话;(4)可以根据外界环境、信息的变化而作出相应的反应，不需要人类对每一个判断和每一个行为下达指令[9]。采用了人工智能技术为主要性能支持的产品即为人工智能产品。人工智能产品与普通产品的最大区别在于其自主性，具体体现在以下几个方面。
1.人工智能产品的运作方式更具复杂性
基于连接主义的人工智能通过复杂的模型构建，关注于拟合已有数据输入与输出的统计意义上的相关性，而对输入和输出的因果性缺乏理解与分析，故而其运行过程是一个“黑箱”操作。质言之，人工智能产品具有一定的自主性，能够自适应学习，其作出决策和行为的思维路径很难为人类所探究，它们通过自我学习和判断并根据环境变化调整行为，处于“感知—分析—行动”模式，因此，不能简单地将它们看作是人类使用的工具。人类对人工智能行为的预判是有限的。例如英格兰麦格纳科学中心设计研发的机器人，其功能设定为“捕食”，但却在无人看管的情况下，偷偷逃离研究所并去到高速公路上[10]。即使当初设计研发者并没有给其设计这一技能，它也能通过自主学习获得。在用户使用人工智能的过程中，人工智能能够自主地进行学习和思考，随着其数据的累积，人工智能的行为会越来越难以判断。在2016年3月，微软设计的聊天机器人Tay与不同的人聊天并保存聊天数据，不到24小时就被“教坏”并开始散布各种不良言论[11];2016年6月，视频游戏“EliteDangerous”配备了人工智能系统，该系统居然创造出了游戏设定之外的超级武器，破坏了游戏的平衡与规则[9]。虽然人类设计、制造并部署了人工智能[12]，但它们的行为却不受人类的直接指令约束，而是基于其所获取的信息作出的分析和判断，也即“算法与行为的分离”[13]。故而，设计研发者在开发人工智能产品的过程中可能并不能准确预知某一产品可能存在的风险②，他们只能保证产品的首次运算规则按照他们的设定进行，同时在之后的过程中不断进行监控和调试，以降低人工智能产品“出轨”的可能性。而普通产品相对来说较为简单，从被设计出来至使用期内，除了正常损耗降低性能及不正常操作等人为因素外，理论上不会出现与其设计偏离的情况，也不需要对其进行跟踪观察。从这一角度看，人工智能产品的运作方式相较于普通产品更具复杂性。
②参见《人工智能标准化白皮书(2018版)》3.3.1人工智能的安全问题。
2.人工智能产品的致害主体更具多元性
人工智能产品致害涉及的主体包括设计研发者、生产者、销售者，甚至人工智能产品本身。这就突破了普通产品仅包括生产者和销售者的责任维度。全球上千台“达芬奇”手术系统投入使用，而其存在明显缺陷——该手术机器人没有“触觉反馈”，使医生无法感知[14]。2016年5月，美国一辆自动驾驶汽车在公路上行驶时发生车祸，车主当场死亡。从调查中可知，事故是由于该车的自动驾驶系统Autopilot对相近颜色的分辨能力低下。这对于驾驶避障系统来说是一个巨大的缺陷，设计研发者却没有对此进行改进再投入市场，甚至没有做出警示，间接导致了悲剧的发生。设计研发环节是人工智能产品产生的首要环节，产品安全的第一道保障即来源于设计研发者，若设计研发环节出现问题，则后面的各个环节也将偏离正确轨道。
对于人工智能产品本身，学术界关于其是否具有法律主体地位的探讨如火如荼。笔者认为，不论其是否应当具有法律主体地位，基于其自主性特质[15]，往往会出现无法辨认产品缺陷的成因或产品不存在缺陷但产生了损害结果的情况，若仅按照当前法律规定追究生产者及销售者责任有失公允，会出现“行为—评价”不一致的情况，也将大大阻碍人工智能产业的发展。对于普通产品来说，产品从设计到制造再到检验始终掌握在生产者手里[16]，产品本身不会对产品是否致害有任何影响，理论上普通产品将按照设计路径进行运作。因此，在产品本身是否有可能成为致害主体的问题上，二者也有很大的不同。从致害主体角度看，人工智能产品相较于普通产品的生产者与销售者来说，更突出了设计研发者与产品本身对产品致害的影响。
(二)人工智能产品缺陷司法认定的困境1.现有判断标准在人工智能产品视域下缺乏适应性
其一，“不合理危险”具有抽象性、复杂性，“标准”具有应急性、不确定性，使得对人工智能产品缺陷的司法认定陷入困境。
司法实践中，往往以《产品质量法》第46条的“不合理危险”与国家标准及行业标准相结合的方式来判断普通产品是否存在缺陷[17]，即“不合理标准”与“技术标准”相结合。但我国现有法律对“不合理危险”没有制定统一的认定标准，在普通产品缺陷认定时，主要依据大众对产品的基本认知和了解来进行分析判断，如产品的性能、使用方式、使用领域、使用年限事故发生的可能性③。人工智能的出现是一种尝试和突破，是人类向另一个新时代迈进的探索，大众对人工智能产品的理解和认知都极其有限，更遑论判断其危险是否合理。事实上，对人工智能产品存在的“危险是否合理”的思考涉及计算机学、脑科学、仿生学、控制学、数学、哲学，相关领域的专家都很难对此作出相对完善的结论。该标准在司法实践中的难度可想而知。
③参见临海市美尼特电动车辆制造有限公司与卢全奇产品责任纠纷上诉案，浙江省宁波市中级人民法院(2013)浙甬民一终字第628号。
对于普通产品缺陷判断具有重要作用的“技术标准”，在人工智能产品领域存在应急性与不确定性。技术标准是一种必须遵循的技术依据，包括基础技术标准、安全标准、环保标准、工艺标准、检测标准等，需要经过各级政府部门的层层审批，耗时较长。而人工智能产品的发展与更新速度远超于普通产品，传统技术标准的制定方式显然不合适，《人工智能标准化白皮书(2018版)》(以下简称“白皮书”)应运而生。根据《白皮书》规定，围绕人工智能标准化需求，按照“急用先行、成熟先上”的原则，展开重点急需标准的研制。这一规定能够解决传统技术标准的短板，但也增加了新标准的“不确定性”与“应急性”。《白皮书》中数据表明，已发布的标准不足一半④，其中有不少标准是遵循“急用先行”的原则而发布，应急性特征明显，这些标准的成熟度和完善度有待考证。而剩下过半的标准还未发布，这对于人工智能产品缺陷的司法认定又是一大掣肘。在遇到未制定标准的情况时，只能依据没有统一标准且抽象复杂的“不合理危险”来进行判断，无疑会使人工智能产品缺陷的司法认定陷入困境。
④根据《人工智能标准化白皮书(2018版)》，目前共有200项国家/行业标准计划号，包括已发布、在研及拟研制三种状态。其中，已发布82项，拟研制31项，在研87项。
其二，除标准自身存在的不足外，将两个标准相结合的判断方式在逻辑上存在矛盾。按照《产品质量法》第46条规定，当产品不符合国家或行业标准时，即可认为该产品存在缺陷。反之，若该产品符合国家或行业标准时，是否说明该产品不存在缺陷？若产品符合国家或行业标准但存在不合理危险时，应当如何认定？事实上，在司法实践中，由于这两个标准同时存在并适用，使得不同的法官对类似案件作出不同判决⑤，致使法律的严肃性与规范性受到质疑，不利于保护消费者权益，也不利于人工智能产业的良性发展。在人工智能产品中，由于标准的应急性与技术认识的边界性，更有可能出现符合国家、行业标准但依然会危及人身、他人财产安全的产品，此时是否应当认定为缺陷产品？从以上分析可得出，现有的判断标准无法解决人工智能产品缺陷的司法认定问题。
⑤参见马水法诉陕西重型汽车有限公司等因产品缺陷致人身损害赔偿纠纷案，江苏省南京市中级人民法院(2014)宁民终字第613号;靳蕾诉北京德奥达汽车进出口有限公司等公司产品责任纠纷案，北京大兴区人民法院(2017)京0115民初12674号。
2.未将缺陷类型化是我国人工智能产品缺陷认定困境的根源
现有产品缺陷认定模式之所以难以适用于人工智能产品，根源在于我国《侵权责任法》和《产品质量法》并未直接对产品缺陷进行分类，而是采用笼统的标准来判断产品缺陷。在复杂的人工智能产品视域下，未将缺陷类型化的判断模式显然无法解决人工智能产品缺陷的认定问题。尽管侵权法理论通常将产品缺陷分为设计缺陷、制造缺陷及警示缺陷[18]，有关产品缺陷的部分规章也提及了缺陷的类型化⑥，但在法律层面仍未对产品缺陷类型作出明确规定，主要原因是部分学者认为对某些概念作过细、过于具体的规定，有可能会限制产品的更新与发展[19]。但笔者认为，若不将产品缺陷进行类型化分析，则在人工智能产品缺陷认定问题上会陷入桎梏，导致产品侵权制度不完善，也无法发展。
⑥如2007年《儿童玩具召回管理规定》第3条第2款规定、2012年《缺陷汽车产品召回管理条例》第2条第1款规定。
鉴于人工智能的复杂性与特异性，设计研发者在产品质量中具有举足轻重的作用，其不同于传统产品，设计研发者与生产者的责任不可混为一谈。在人工智能产品视域下，生产者仅是既有设计的执行者，其难以理解或辨认设计的正确与否，对产品设计上的缺陷也不具有控制力。若按照我国目前法律规定，生产者则需要承担产品设计环节产生的缺陷所带来的产品责任，但“对自己无法控制的事情需要承担责任”是否缺少法理基础？事实上，除了设计研发者，生产者与销售者等责任主体对于产品缺陷的控制力也是不同的，不同环节所造成的缺陷从归责原则、判断方法乃至认定标准都应有不同。若不区分缺陷类型，单以某一缺陷为标准进行规制都显得捉襟见肘，在责任承担时也有失公允。因此，结合人工智能产品的特性，对人工智能产品缺陷进行类型化分析实为必要。
二、人工智能产品缺陷类型及相关主体义务分析(一)人工智能产品缺陷类型的划分产品缺陷的分类始于美国，《侵权法重述之产品责任(第三版)》明确将产品缺陷分为设计缺陷、制造缺陷和警示缺陷三种，德国在此基础上增加了一种新的缺陷类型，即“观察缺陷”。虽然我国没有对产品缺陷进行明确的划分，但从《产品质量法》和司法实践上看，我国倾向于德国的缺陷类型。对于我国是否应当明确摒弃“不合理危险”与“技术标准”相结合的二元缺陷判断模式有诸多争议，但如何借鉴缺陷类型化判断模式还需要在特定的语境中进行考量，人工智能产品的发展和应用为这个问题提供了一个绝佳的思考视角和尝试契机[3]。笔者认为可参照当前司法实践对缺陷类型的划分，在现有规则框架中结合人工智能产品的特性，在人工智能产品缺陷领域形成设计缺陷、制造缺陷、警示缺陷和跟踪观察缺陷四种缺陷类型。该分类与产品从设计至使用的主要环节相对应，也与各个主体的义务相关。通过对各个环节主体义务的分析，界定出相对合理且可操作的判断标准，以期采用“切割分解”的方式降低人工智能产品缺陷司法认定的复杂性，提高人工智能产品责任认定的可能性与合理性。
其一，该分类有利于人工智能产品归责原则的重构。从对法条和实践经验的理解来看，我国产品责任采用严格责任的归责原则⑦。但我国并没有对产品缺陷类型进行分类，也即，无论什么缺陷导致的产品责任，都采用严格责任的归责原则。制造缺陷里适用严格责任并无不妥，但在设计缺陷或警示缺陷的情况下，一味追究严格责任缺乏正当性[20]，事实上，严格责任的衰弱与过错责任的回归，已经是公开的秘密[21]。我国统一适用严格责任的归责原则主要是将设计研发者与生产者混同，并以保护消费者权益为出发点而制定的，但忽略了导致产品存在缺陷的多个环节，也忽略了人工智能产品生产者对于非制造缺陷的不可控力。首先，在人工智能语境下，生产者能力有限，但却面临过于苛刻的严格责任，是否会使权利的天秤过于倾斜导致不公？若按照我国仅把生产者与销售者纳入产品责任主体的法律现状来假设，人工智能产品的设计研发环节出现问题，生产者需要承担严格责任，岂不荒谬[22]？再者，对于警示环节出现问题而导致的产品缺陷也承担严格责任未免有适用标准错位的嫌疑。警示行为主要关注的是生产者、销售者警告的内容是否充分合理，实际上是针对人的行为，不是针对产品本身，而严格责任作为一种刚性的产品责任，关注的是产品本身存在的缺陷，按此逻辑，采用严格责任也实为不妥。最后，统一适用严格责任原则容易导致消费者道德偏差。在严格责任的保护下，消费者的举证负担大大减轻，这很可能导致消费者在使用产品时存在侥幸或放任的心理，在未尽注意义务受到损害时依然可以获得赔偿，这一原则会间接促使更多消费者肆意对产品进行不合理的使用，这样打击了生产者的生产积极性，最终将不利于人工智能产业的发展。综上，对人工智能产品责任的归责原则进行重构以适应其特异性势在必行。
⑦《产品质量法》第41条规定：因产品存在缺陷造成人身、缺陷产品以外的其他财产损害的，生产者应当承担赔偿责任。
按照设计缺陷、制造缺陷、警示缺陷和跟踪观察缺陷这几种缺陷类型来划分，与产品从设计至使用的几个主要环节相对应，不同环节对产品质量的影响与控制力不同。如设计研发环节是决定人工智能产品质量的关键与基础，对产品的安全与性能有着根源性的影响，但基于人工智能产品的特异性，设计环节对产品依然没有完全的控制能力;制造环节是设计环节的执行步骤，与普通产品无异，不存在过多困难[23];警示缺陷与跟踪观察缺陷主要是在产品生产完成后，对人的行为进行评价，而不过多关注产品本身的质量问题。不同缺陷类型所对应的各个环节对产品的控制力不同，根据控制能力与责任相匹配的基本原理，此时按照不同的缺陷类型采取不同的归责原则更为恰当。
其二，该分类使责任认定要素相互对应形成逻辑闭环，有利于人工智能产品责任的认定。在认定产品侵权时，除了产品缺陷，还需要着重关注归责原则与责任主体。该缺陷分类不仅利于归责原则的重构以适应人工智能产品特性，还与责任主体相对应，形成“产品缺陷—归责原则—致害主体”产品责任的认定逻辑⑧。每个环节与产品缺陷、归责原则、致害主体相对应，环环相扣，即，以上文提及的“分解切割”方式来增强产品责任认定的可操作性与合理性。在实际操作中可以按照如下步骤进行切分：首先，利用设计方案、制造技术、工艺报告、各项数据监控，以及流转凭证等信息判断产品在什么环节出现问题，若是设计环节则考虑是否存在设计缺陷，制造环节则考虑是否存在制造缺陷，以此类推;其次，在锁定某一可能缺陷类型的情况下，根据该缺陷类型的认定标准判断是否存在产品缺陷;再次，确定存在产品缺陷后对不同缺陷类型采用不同的归责原则，如设计缺陷采用过错责任原则，制造缺陷采用严格责任原则进行责任的确定⑨;最后，结合各个缺陷类型下对应的归责原则和致害主体，如“设计缺陷—过错责任—设计研发者”，以明确承担人工智能产品责任的主体⑩。在此种分类下，人工智能产品责任的判断逻辑清晰、有据可循，而不是按照现有法律规定的“不合理危险”与严格责任这样笼统划一的方式来进行产品责任认定，这样的判定路径将复杂的人工智能产品责任进行拆分，提高了产品缺陷司法认定的可操作性与合理性，也是我国《产品质量法》相关规则修改的一种更现实可行的路径。
⑧因“损害结果”与“因果关系”在人工智能产品与普通产品中无太大区别，文章不作过多探讨，故而在此闭环中也未体现。
⑨该原则为根据不同缺陷下主体对产品质量的可控制力为基础大致拟定，主要作用为举例说明，不作为笔者的探讨结论。
⑩由于文章主题与篇幅的限制，在此没有考虑免责事由以及其他承担责任的方式和机制。
(二)缺陷类型化下有关主体的义务分析在对人工智能产品缺陷类型进行分类后，为了更好地判断产品缺陷，应当分析各个缺陷类型对应主体的义务，以作为产品缺陷认定的参考因素。
1.设计缺陷：设计研发者
在产品责任法上，设计缺陷是指在设计环节出现问题，使得产品具有给使用者造成不合理危险的内在缺陷[24]。设计缺陷的责任主体是设计研发者，其应当履行如下义务：(1)安全保障[25]。程序及算法应当遵循欧盟“可信赖人工智能伦理准则”(EthicsGuidelinesForTrustworthyAI)的设定规制，在产品正常使用情况下不会对使用者或者他人的生命健康权、财产权造成损害。在存有已知风险情况下，应当对该产品设计保护、防范措施，使风险发生概率降到最低。(2)性能平衡。人工智能产品的安全性、稳定性与智能性、功能性是相互牵制的。设计研发者在进行系统和程序设计时，应当注重上述特性的平衡[26]，在保障相对安全稳定的基础上再追求功能性，这也是侵权责任体系公平有效的客观要求。(3)全面测试。人工智能应用程序具有不确定性和概率性、对大数据的依赖性，以及难以预测所有应用场景及需要从过去的行为不断进行学习等特性。因此，在产品设计研发过程直至进入市场前，应当多次进行算法、程序和产品的测试。通过对数据的采集、加工、处理、分析和挖掘，形成符合设计要求的信息流和认识模型⑪。同样，对于产品入市前也应当进行全面的功能性测试。
⑪参见《人工智能标准化白皮书(2018)》2.2人工智能的特征。
2.制造缺陷：制造者
在人工智能产品视角下，制造缺陷理应排除设计环节。生产者的主要义务是将设计研发者的构思、程序、方案、图样等设计变成产品。(1)配合设计预期效果进行制造。如保障人工智能产品能够提供清楚易懂的语言，在遇到自动系统难以应对的情况时能清晰地提示使用者，以采取相应手动控制措施;保证简易按钮的灵敏性与抗干扰性，在复杂环境下，能够瞬间停止“自动化模式”而恢复人类对产品的控制权[27]。(2)严格按照设计方案进行制造。制造需达到设计对原材料、零部件加工，装配和工艺的精密要求。例如，对于特种极限机器人，无人机、无人潜水艇等人工智能产品，主要在极端气候或高空、深海等环境下工作，其制作原材料、零部件和制造工艺都是产品安全和性能的重要保障之一。若不按照原设计的材料及工艺进行制造，必然导致产品安全和性能的减损。
3.警示缺陷：制造者、销售者
我国《产品质量法》虽然涉及警示缺陷的内容，但仅对产品标识和外包装进行规定[28]。针对我国司法实践中出现的警示缺陷纠纷，有学者将产品警示缺陷定义为：由于未对产品的正确使用方式和使用危险进行适当的警告和说明造成的不合理危险[29]。结合现有法律规定、司法实践情况及人工智能产品特性，笔者认为人工智能产品警示义务应当包含以下几个要素：(1)警示内容的充分性。其一，警示应当对合理可预见的危险进行说明，“威胁和危险均指造成这种现实损害的可能性，它必须是即将来临的或真实的，而不是臆想的，也不是没有任何实际根据的猜测和担忧”[30];其二，警示应当着重于对其决策的原理、路径和安全使用方式，如前文的“河北邯郸案”发生后，特斯拉车载系统将“Autopilot”的中文翻译从“自动驾驶”改为“自动辅助驾驶”，并要求销售人员严格将这一系统表述为驾驶辅助系统，从而对该系统的功能与使用方式进行重新定位说明。(2)警示时间的更迭性。人工智能产品的更新迭代飞速，故而需标明警示时间。这样不仅可以令使用者有计划地自查产品的最新状况，也可以在出现产品侵权纠纷时作为有效证据，有助于裁判者定纷止争。若因科技发展可预见新的风险，则生产者、销售者需及时通知消费者并更新警示说明书等附随产品。(3)警示语言的简明醒目性。警示语言必须简洁明了、通俗易懂，要使普通人能够理解该产品的使用方式和风险。警示图示和字体应当采用鲜明的设计，使用户在第一时间注意到警示所要传达的信息。
4.跟踪观察缺陷：设计研发者、制造者、销售者
产品跟踪观察缺陷是指在产品投入流通以后，生产者、销售者没有对产品进行持续性观察并了解是否存在未知的危险，或已知存在危险未采取警示、召回等措施。在人工智能视域下的产品跟踪观察义务应当在原有基础上相应变更及细化以适应新情况。(1)应当增加设计研发者为跟踪观察义务的主体。设计研发者对人工智能产品的理解力和控制力强于其他主体，是人工智能产品生产的源头，理应成为义务主体。(2)明确跟踪观察义务包括消极义务与积极义务[31]。消极义务是指生产者及销售者应当接受消费者对产品致损与风险的投诉，并将信息传递至设计研发者，由其对人工智能产品进行检查与测验，确认是否存在风险。积极义务是指设计研发者应当定期对自己研发出的产品进行数据监控和检查，防止出现人工智能异变的情况，并对本领域的最新科技高度关注，以便及时更新技术降低产品使用风险。(3)完成跟踪观察后的反应义务。从实践中看，警示和召回是最重要的反应行为，警示反应要求义务主体对消费者、使用者发出警示消息，可以通过发送邮件、拨打电话及借助大众媒体等方式发出警示;召回反应要求责任主体通过免费维修、更换、回购等方式来排除产品的危险。(4)确定跟踪观察义务的存续期间。实践中，普通产品的跟踪观察义务存在1~5年的保修期。对于人工智能产品而言，生产者因将产品投入流通而开启了潜在危险，且该危险较难预测。因此，跟踪观察期应当扩张至产品的应然使用寿命年限。
三、人工智能产品缺陷司法认定标准的规则表达任何规则的表达都是在给定条件下进行的，在人工智能视域下，产品缺陷的司法认定在原有框架下也应当有新的规则表达。
(一)设计缺陷：“风险—效用”规则在美国法上，法院最早以“消费者预期”作为设计缺陷的判断标准。根据该标准，产品设计缺陷是否存在不合理的危险，取决于该产品能否符合普通消费者对于此种产品特性的正当预期。也就是说，造成损害的产品缺陷必须具有普通消费者可以预见的不合理危险。但在现代社会，随着科技的发展，产品类型逐渐丰富，结构也日益复杂，有学者认为在涉及具体产品设计方案上，消费者所期待的安全性程度无法定义[32]1236-1237，难以形成合理正当的期待，也有学者与法官开始对该标准的模糊性与不确定性进行质疑[32]1217，该标准适用困难。
为了弥补消费者预期标准的不足，美国法院开始尝试采用“风险—效用”标准对设计缺陷进行判断[33]。所谓“风险—效用”标准，也被称为“成本效益标准”，就是通过产品有用性与危险性的比较，检查设计研发者是否采取了适当的安全保障措施，以判定产品是否存在设计缺陷[34]。在产品设计缺陷中的判断可以描述为：若改进该产品的成本低于维持现有状态的效益及现有风险或危险，则存在设计缺陷;若改进该产品的成本高于维持现有状态存在的效益及现有风险或危险，则不存在设计缺陷。到目前为止，“风险—效用”规则已经成为美国、德国等许多国家采用判断产品设计缺陷的重要标准。
对于普通产品而言，“消费者预期”标准或许能够立足于“以消费者为本”这一理念而得以运行，而在人工智能视域下，普通消费者对人工智能的理解极其有限，高于平均产品使用人对该产品的认识水平的，不在“消费者预期”标准考虑之列[35]。如前所述，人工智能是一项新兴科技，人类对该技术的探索在不断突破我们的认知边界，试问采用这样一种技术的产品，我们普通大众如何对其形成合理的消费者预期？如DoctorAI可以通过利用递归神经网络建立预测模型以辅助诊断[36]，“嬉戏式监督智能空间”游戏行为疗法能够辅助特殊儿童的治疗⑫，[37]，普通消费者应对医疗AI抱以何种期待？也即，采用消费者预期标准的前提不存在，不具有可操作性。再者，消费者预期标准为一种整体性分析，属于定性分析，只有存在“符合预期”或者“不符合预期”这两种结果。而受到人工智能产品特异性的限制，我们很难对其作出定性结论，只能是在各个功能价值之间寻求平衡。
⑫包括自闭症谱系障碍(ASD)、注意力缺陷多动障碍(ADHD)、唐氏综合征或精神分裂症等特殊儿童。
反观“风险—效用”标准，虽然存在着操作较为繁琐，价值单一等弊端，普通产品不具有自主决策与交互协同的特性，对普通产品使用该标准有“损益比失衡”之嫌，但在人工智能产品中，却更加符合其集合风险(自主性)与效用(智能性)于一身的特质。人工智能产品设计综合了计算机学、数学、脑科学、经济学、哲学、伦理学、美学、心理学等学科，不仅要满足消费者对产品安全、功能的刚性需求，更要满足消费者心理上和情感上的精神需求，由于人工智能产品的自主性会导致用户较高的情感反应，人与自主系统的交互中需要更多地考虑社交和心理因素[38]。上述几种需求之间往往是相互牵制的，任何一种功能的改变都有可能影响到其他功能的实现，从而引起整个产品的变化。以“风险—效用”规则作为判断设计缺陷的综合标准，不仅映衬了人工智能的发展是人类社会在进步过程中的一步“险棋”，还是提高人类工作生活效率的一种尝试，更是与人工智能产品设计“多元化”、产品运行“自主化”特征紧密相连。“风险—效用”规则属于一种定量分析，不是非此即彼，而是对人工智能产品设计方案的综合考察，相较于定性分析更具有可操作性，更适合对人工智能产品缺陷的判断。
我国在处理人工智能产品设计缺陷案件时，可以采用“风险—效用”标准。从美国的司法实践看，绝大多数州法律及判例在面对产品设计缺陷案件时都要求原告提供合理的替代设计，并通过“风险—效用”标准予以分析和判断。对于该规则而言，重点在于如何平衡产品的风险与效用，合理的替代设计就是该标准的内在要求[39]。人工智能产品的设计缺陷有别于传统产品，主要有以下几类缺陷：算法设计缺陷、样本标记缺陷、样本不平衡缺陷、软件设计缺陷、硬件设计缺陷[40]。在判断是否存在设计缺陷时可以上述类别为参考。但由于人工智能产品的复杂性，原告只需提出初步的设计不合理证据，由设计研发者对设计合理进行证明，必要时可由法院邀请专家来说明是否存在“合理的可替代设计”，具体表述为“该产品的设计是否已经采用了业内最安全、最先进的技术，或以现有技术标准，是否可以提出更高的设计要求”[41]，并对替代设计的边际收益与边际成本予以分析，以证明产品是否存在设计缺陷。
(二)制造缺陷：“对预期设计的偏离”标准1973年，JamesHenderson教授首次将产品的制造缺陷定义为“对预期设计的偏离”[42]。目前，该标准已经成为美国等国家判断产品制造缺陷的主流标准，即产品在生产者投入流通时，在某些重要方面存在不符合设计的性能标准或设计说明的问题，或者同一生产线上的同类产品存在差异则为制造缺陷。在人工智能产品中，主要由设计研发者把控产品的安全与功能，而制造者只是产品设计的执行者，结合制造者在制造环节需要承担“将设计转化为产品”的这一核心义务，采用“对预期设计偏离”标准，能够体现出认定制造缺陷的逻辑性与严谨性，在实践中也更具可操作性。
由于人工智能产品与普通产品在制造环节差异不大，故而该标准在二者的制造缺陷中都可适用⑬。从产品侵权缺陷认定的体系看，尽管“对预期设计偏离”为认定制造缺陷提供了一个直观的标准，但在产品出故障损毁时，仍存在认定缺陷的问题。此时需要借助另一个标准——故障理论来进行产品制造缺陷的认定。在产品因事故损毁、灭失的情况下，原告可以通过间接证据来证明产品缺陷[43]。结合《美国统一产品责任示范法》与人工智能产品特性，在产生纠纷时可按照以下思路对制造缺陷进行认定：原告申请法院调取该人工智能产品的设计方案或报告，将致害人工智能产品与设计方案进行比较，查明是否有不符合原有设计的情况。若存在不符合原有设计的情况，则属于制造缺陷，若该产品符合原有设计，则不属于制造缺陷，需要考虑是否存在设计缺陷等其他缺陷。在人工智能产品出现损毁、灭失的情况下，原告首先需要证明该产品确实发生了故障或事故，并且导致了人工智能产品的损毁、灭失;其次证明该故障或事故的发生不是由于非正常使用造成的，也没有被其他人进行过改动。上述两项若都符合，则可以推定该人工智能产品存在缺陷。但是这种缺陷有可能是设计缺陷、制造缺陷、警示缺陷或跟踪观察缺陷，要进一步对比产品设计方案、警示语标识及跟踪观察记录来判断是否属于其他三种缺陷，若不属于，则可判断为是制造缺陷。
⑬本文阐述该标准意图有二：一是逻辑严密性，文章通过“分解切割”方式将产品缺陷分为四大类，在论述体系中应当全面体现;二是表述的确定性，我国目前依然采取“不合理危险”与“标准”相结合的判断方式，若因理论上可采用一致标准而不加以阐述，则容易导致笔者思想传递的混乱。
(三)警示缺陷：“合理充分”标准美国和欧盟在判断警示缺陷时，主要采用的是消费者预期标准[44];日本的警示缺陷诉讼主要在医药品方面，一般也是以消费者预期为标准[45]，然而，消费者预期主观性过强，不同的消费者预期不同，在司法实践中具有偏差性，且人工智能产品属于新兴科技，消费者对其理解不足，更遑论产生合理预期。如前所述，警示义务要求警示在内容、形式与时间上都应当“充分合理”，对人工智能产品的警示缺陷判断采用“充分合理”标准，一方面符合正常理性人的思维，另一方面也更具可操作性与统一性。
在人工智能语境下，判断是否“充分合理”应当以前文所述警示义务的具体要求为基础，但更应该考虑如何界定不可预见的危险。与普通产品不同，人工智能产品的自主性与主动交互性，使人类很难控制与预测其行为，不能排除人工智能产品自身成为致害主体的可能性，如何增强人工智能产品的可解释性，是当下人工智能学科研究的重大挑战之一[36]。在这种情况下，警示语不可能出现设计研发者、生产者等无法预知的情况，而这又与人工智能产品频频侵权的根源也是其本质——人工智能的自主性相冲突，是无法克服的。因而，在判断是否为可预见的危险时，以标明警示语的时间为节点来进行判断似乎是当下较合理的可行之法。在警示时间点前的科学水平能够预见还未投入市场的人工智能产品存在何种可预知危险，并将其充分写为警示语，投入市场后的产品在技术发展或系统升级后，能够预见其他风险或解决先前的潜在危险时，应当及时更新警示标语，这也是与普通产品在警示方面的最大区别。如此，则尽到了充分合理的警示义务。反之，则没有尽到充分合理的警示义务。另外，不需要对众所周知的危险作出警示，也即对于任何荒诞或显而易见的危险与不当使用方式，生产者和销售者并不承担预见或提出警示的义务，否则会导致消费者受到过度无意义警示的轰炸后很可能会放弃阅读产品的全部警示，以至于忽略了其中的重要警示，而出现产品致害事件。
(四)跟踪观察缺陷：“个案认定，综合判断”原则虽然我国《侵权责任法》肯定了跟踪观察义务，但没有明确规定具体如何判断责任主体是否履行了跟踪观察义务。在人工智能产品的跟踪观察义务中涉及的主体包括设计研发者、制造者与销售者，中间也可能产生很多阻断因素，归纳出一个具体的判断标准较为困难。因此，笔者认为，在判断是否履行了跟踪观察义务，应当依据个案的情况，综合考虑前述义务是否妥善履行来予以认定，但需特别注意的是，由于人工智能产品的交互性与自主性特征，对其的跟踪观察期限与时间点应有别于普通产品，应当在人工智能产品的整个使用期限内进行跟踪观察，并设置固定的检测时间点，以防止其多次采集数据后自我学习而导致异化，这是“综合判断”标准的重要内容。
在具体操作中，可以参考以下判断标准：首先，设计研发者对产生的风险是否预见或应当预见，一方面可以从人工智能技术当前成果判断能否预见该风险，应当以上一次检测产品的时间为准。若同类产品已经发生类似的缺陷问题，该产品的设计研发者依然没有任何反应，则可以判断设计研发者应当预见风险而没有预见。另一方面从设计研发者是否履行了关注和定时检测义务来进行判断，每次检测都应当有检测记录并进行上传至数据库。其次，生产者和销售者是否开通了产品反馈管道并完成信息搜集传递工作。生产者与销售者需建立和完善产品使用意见反馈机制，及时接受用户的反馈，继而将问题反馈给设计研发者，在这两个中转环节都应当做好书面记录并签字存档，以起到完整程序、保留证据及责任转移的作用。最后，是否有警示或召回等反应行为。如前所述，当发现产品存在缺陷时，视情况严重程度采取警示或召回等行为是跟踪观察义务的最重要内容，也是判断是否存在跟踪观察缺陷的重要标准之一。应当对人工智能产品按照类别制定不同的“合理反应期限”，若在此期限内未对缺陷作出反应，即为跟踪观察缺陷。具体来说有两个方面：一是产品发展缺陷⑭，主要是由设计研发者对科技的发展以及产品检测监控来判断是否存在可修复缺陷，并对存在可修复缺陷的产品进行程序修缮和更新;若存在不可修复缺陷，则制造者需在产品说明中增加新的风险警示，销售者在销售产品时也应及时说明新增风险，并警示已购买用户。二是针对产品使用过程中产生的老化、折损问题，制造者与销售者通过反馈管道可召回该类产品，并对其进行维修或更换，保障产品的安全。
⑭产品发展缺陷指产品投入流通前的科技水平不认为是缺陷或不存在风险，而在产品投入流通以后，随着科技的发展而认为是缺陷或者是认为存在风险。
四、结语产品缺陷的司法认定是产品责任存在的基础，由于人工智能产品相较于普通产品具有一定的自主性、交互性、难预测性与不可控性，致使人工智能产品缺陷认定更加复杂困难，加之未将产品缺陷类型化，现有的规则表达难以适用。基于法解释学的张力，在人工智能视域下对产品缺陷认定进行基本原理的探究与具体规则的新表达，结合学术界前沿理论、我国司法实践经验与人工智能产品特性，将产品缺陷划分为设计缺陷、制造缺陷、警示缺陷与跟踪观察缺陷，通过“切割分解”的方式将复杂的人工智能产品缺陷分解成不同类型。分析不同缺陷类型下各主体的义务，再结合不同缺陷的性质与特征，表达出不同的判断规则，为我国人工智能产品侵权责任构建提供一个可参考的思路。智能革命引发的各种思考才刚刚开始，科学技术的发展会不断拓宽人类认识的边缘[46]，我们需要在法律基本原理的基础上进行审慎创新，在面对旧规则无法解决新问题这一局面时，应当还原旧表达的核心思想，结合新语境得出新的规则表达。本文提出的判断规则并非盖棺之言，仅是现阶段对人工智能产品视域下缺陷司法认定的初步探索，将来还会出现诸多问题需要我们共同关注和探讨，寻找并论证更加恰当的规则表达，希望我们在促进新技术发展的同时，为其产生的风险做好充足的法律准备。
人工智能有哪些优点和缺点
人工智能有许多优点和缺点，以下是一些常见的：
优点：
高效性：人工智能可以在短时间内处理大量的数据和任务，提高效率和生产力。
可靠性：相较于人类，人工智能可以更快速、更准确地执行任务，并且不会受到疲劳、情绪等因素的影响，提高了任务执行的可靠性。
个性化服务：人工智能可以通过分析大量的用户数据，为用户提供个性化的服务和推荐，提高用户体验和满意度。
自主学习：人工智能可以通过机器学习和深度学习等技术，自主地学习和优化模型，提高模型的精度和效果。
持续发展：人工智能是一个不断发展和进步的领域，随着技术的不断改进，它的应用范围也在不断扩大。
缺点：
数据偏差：人工智能需要大量的数据作为训练样本，如果数据集存在偏差，那么训练出来的模型可能会存在误差。
隐私问题：人工智能需要收集和分析大量的数据，这可能会涉及到用户隐私的问题，引发个人信息泄露等问题。
没有智能：人工智能只是一种模拟人类智能的技术，并没有真正的智能，无法像人类一样具备自主思考和创造力。
风险和误判：人工智能在执行任务时可能会存在风险和误判的问题，例如自动驾驶汽车的安全问题等。
替代人类：人工智能的发展可能会导致某些职业被自动化取代，使得部分人类劳动力失业。
免费分享一些我整理的人工智能学习资料给大家，整理了很久，非常全面。包括一些人工智能基础入门视频+AI常用框架实战视频、计算机视觉、机器学习、图像识别、NLP、OpenCV、YOLO、pytorch、深度学习与神经网络等视频、课件源码、国内外知名精华资源、AI热门论文等。
下面是部分截图，点击文末名片关注我的公众号【AI技术星球】发送暗号321领取（一定要发暗号321）目录
一、人工智能免费视频课程和项目
二、人工智能必读书籍
三、人工智能论文合集
四、机器学习+计算机视觉基础算法教程
五、深度学习机器学习速查表（共26张）
学好人工智能，要多看书，多动手，多实践，要想提高自己的水平，一定要学会沉下心来慢慢的系统学习，最终才能有所收获。
点击下方名片，扫码关注公众号【AI技术星球】发送暗号321免费领取文中资料。人工智能 (AI)的优点和缺点
当我们听到人工智能(AI)时，我们脑海中闪过机器人和机器的图像。我们都曾在终结者系列中将阿诺德施瓦辛格视为未来的人形生物。看过那些时髦的变形金刚系列，所有那些让机器人像真人一样做事的电影，所有这些都让我们对它怎么可能感到敬畏，但让我告诉你，它们是动画电影。然而，世界上存在着能够完成人类任务的机器人。由于人工智能的进步，所有这些都是可能的。让我们在帖子中进一步了解人工智能的优缺点。
人工智能是与人类和其他动物拥有的自然智能相比，由机器展示的智能。当机器模仿人类与其他人类思维行为(例如学习和解决问题)相关联的认知功能时，就会使用“人工智能”一词。人工智能的概念是计算机模仿人类应该做的人类行为。人工智能的范围从语音识别和翻译成不同的语言，有时甚至是决策。总的来说，任何涉及程序执行通常涉及使用人类智能的事情的东西都是人工智能。
人工智能的水平在人工智能的范围内，人工智能有不同的分类。
强对弱强大的智能是指真正看起来像模仿人类的工作，它甚至有助于理解人类的思维方式。弱智能只是旨在建立一个行为像人类但不旨在像人类一样思考的系统。
狭义与一般有某种智能旨在解决某些特定任务，称为狭义智能。还有一个目标是一般推理或一般任务，称为一般智能。
如果你是看着那些介绍天网和终结者、变形金刚等科幻电影的科幻机器人电影长大的，那么肯定至少曾经想过这个世界会不会被机器人摧毁的那一天。让我们讨论一下人工智能的一些优点和缺点。
人工智能的优点平凡的任务：当谈到一遍又一遍地做同样的事情时，人类在更少的此类会议之后会感到无聊。但另一方面，机器不会感到无聊。人工智能有助于改进自动化过程，从而提高资源的生产力，并将重复、无聊的任务从人类肩上卸下。更快的行动和决策：当涉及到很少或很多因素的决策时，我们的思维会变得越来越慢，而机器以相同的速度工作并考虑所有因素。机器在做出决策时花费的时间要少得多，并且在需要更快决策的情况下很有用。避免错误：犯错是对人而言，但同样不适用于机器。机器执行重复性任务，因为它们被提供了操作机器所需的电力。机器学习：机器学习是人工智能的最大优势。人工智能可以轻松浏览数PB的数据，这对人类来说实在是太多了。通过重复性任务学习并为进一步的进步做好准备。通过人工神经网络，机器模拟人脑的结构和功能。冒险而不是人类：智能机器通常用于人类参与不安全的情况。有各种各样的研究工作和其他类似的任务，只是不能涉及人类。就像发现宇宙中未知的地方一样，火星探索就是一个完美的例子。其他需要精确到非人类水平的医疗诊断，智能机器可以帮助减少错误并改善时间。人工智能的缺点权力分配：人工智能带来了从人类操作员手中夺走控制权的威胁。截至2017年7月，Facebook关闭了其AI程序，因为它们开始使用自己的语言进行交谈。机器开始开发自己的语言。这可能是我们一直在想象的cyborg攻击的开始。失业：人工智能的实施可能会取代许多低技能工作，这是一个严重的威胁。一些依赖人类的简单任务很容易被智能机器取代。经常发生这样的事件，当采用新技术取代他们的位置时，大量的人失去了工作。缺乏判断力：机器可以轻松地完成它们被编程去做的重复性任务，但是当它们做出没有被编程去做的决定时，它们就失败了。除非他们有适当的环境来做决定，否则他们不能自己做决定。高成本：人工智能研究的成本非常昂贵，并且需要大量时间来进行较小的进步。要使AI被称为训练有素或机器学习发生，数据集需要很大才能使这些机器学习有效。人类的能力可能会减弱：由于我们现在大部分工作都依赖机器，我们的生活变得更加轻松。由于这种轻松，我们留下了宝贵的小技能，这些技能可以变得更大。我们只是忽略了技术和技能的根源，而选择了机器提供的输出。这些会降低我们发挥全部潜力的能力。错误和坏人的手：机器每天都在变得智能。他们每天都在成长和学习。如果该特定机器落入坏人之手，只需意识到结果。本来可以走向发展的世界，很容易走向毁灭。这些都是人工智能的优点和缺点。人工智能仍处于发展过程中，电影为我们提供了更多思考机器接管世界的维度。这可能很遥远，但有些事情是绝对真实的，并且肯定会发生并且已经发生。2017年1月，日本FukokoMutualLifeInsurance的员工(准确地说是34名员工)被解雇，原因是该保险公司安装了一个新的人工智能系统，该系统可以读取医疗证明、收集住院和手术数据以及每年节省1.4亿日元的工资成本。一方面，这对公司来说是利润，而另一方面，34名员工失去了工作。但是，机器人攻击可能会发生也可能不会发生，但低技能人员的工作处于危险之中，而他们的位置正在被机器取代。因此，虽然人工智能是人类的福祉，但它绝对可能是人类的诅咒。
人工智能(AI)有什么好处？人工智能(AI)的局限性人工智能(AI)的优点和缺点人工智能(AI)的好处和坏处人工智能(AI)的利与弊人工智能(AI)的优缺点人工智能(AI)怎么样？人工智能(AI)的优势人工智能(AI)的长处欢迎任何形式的转载，但请务必注明出处，尊重他人劳动成果。转载请注明：文章转载自有区别网[http://www.vsdiffer.com]本文标题：人工智能(AI)的优点和缺点本文链接：https://www.vsdiffer.com/proscons/pros-and-cons-of-artificial-intelligence.html免责声明：以上内容仅是站长个人看法、理解、学习笔记、总结和研究收藏。不保证其正确性，因使用而带来的风险与本站无关！如本网站内容冒犯了您的权益，请联系站长，邮箱：，我们核实并会尽快处理。相关主题Airbnb的优点和缺点Gmail的优点和缺点Lucidair电动轿车的优点Straighttalk的优点和缺点人工心脏的优点和缺点人工耳蜗的优点和缺点人工降雨的优点和缺点商业智能的优点和缺点智能家居的优点和缺点智能汽车的优点和缺点智能衣服的优点和缺点机器人的优点和缺点随机碱性水的优点和缺点加拿大留学的优点和缺点钩织的优点和缺点农药的优点和缺点选美的优点和缺点生狗粮的优点和缺点新生儿维生素K的优点和缺点AppleWatch的优点和缺点基因治疗的优点和缺点惠普/HP电脑的优点和缺点参军的优点和缺点摄影师的优点和缺点软件缺陷与漏洞的区别
简单得说：软件缺陷就是软件bug。软件漏洞属于软件缺陷的一类。可以归类为软件安全方面的缺陷。
概念区别①、软件缺陷
在计算机行业常常叫它Bug，指计算机软件或程序存在某种破坏正常运行能力的问题、错误，或者隐藏的功能缺陷。
②、软件漏洞
是指软件在设计、实现、配置策略及使用过程中出现的缺陷，它可能导致攻击者在未授权的情况下访问或破坏系统。
③、区别
从概念上看：其实缺陷就是软件会出故障的点，而漏洞是，软件被攻击者攻击才会出故障的点。后者明显范围小一些，需要被人利用了才会导致软件被破坏。而前者包括了程序运行使用过程中自己出错的点。
产生根源①、软件缺陷产生的根源
软件缺陷产生的根源主要包括：测试策略，过程、工具和方法，团队/人，缺乏组织和通讯，硬件，软件，工作环境等。
测试策略：主要是测试范围不足，测试目标偏离引起。
过程，工具和方法：主要是需求收集无效，项目管理过程不够（比如：没有做变更控制，未做风险管理）。
团队/人：主要是项目团队职责不清（要么交叉职责，要么出现空缺），人员缺乏培训（尤其是没有经验的人员），士气低下或动机不纯。
缺乏组织和通讯：蒙头开发导致和用户沟通不够，团队管理失败。
硬件：主要是对硬件配置不对，硬件固件本身存在缺陷，处理器本身的缺陷。
软件：主要是软件配置不对，对操作系统的资源的获取和释放控制不好，编译器错误。
工作环境：主要是团队变动，预算削减，环境恶劣（比如：噪音很大）
②、软件漏洞产生的根源
软件漏洞产生根源也包括在软件缺陷产生之中。但相对范围较小，上面有一些过程就不会产生漏洞，只会产生缺陷。
需求收集不足：只会导致用户使用功能不足，不会产生漏洞。
和用户沟通不够：这也只会导致软件使用缺陷，不会产生漏洞。
防范缺陷无论是软件公司、软件开发人员，还是用户都不希望软件出现缺陷。然而软件只要是人设计的，都有可能出现缺陷。那我们该如何来防范呢?
①、从源头堵
前面讲了缺陷产生的根源，我们可以根据根源产生的原因，进行有效的管控。
进行有效团队管理、项目管理，做好计划，监督，检查，改进的工作。
对测试过程进行严格的管控，做到不偏不漏。
做好有效的缺陷分析，找出软硬件和代码的缺陷并修正。
做好代码安全审计，不能让代码中存在安全漏洞。
②、全生命周期跟踪
软件开发完成到发布使用，只是软件生命周期的开始。在用户使用过程中依然会发现软件公司未发现的软件缺陷。所以，我们要对软件的全生命周期（设计、开发、运营、更新、停止）进行跟踪，一旦发现缺陷，立即进行补丁修补。
③、吸取历史教训
软件开发过程中可以吸取之前软件发生过的缺陷的经验教训。我们在自己的软件过程中尽量避免犯同类的错误。否者，我们的软件注定是一个失败的开始。
④、借助安全系统
在计算机系统运营过程中，黑客们的攻击手段众多。我们需要利用计算机网络安全的安全系统来对软件进行边界的安全保护。
总结产生软件的缺陷（含软件漏洞）对软件来说都是一件不好的事情。我们除了认识他们的区别之外，更重要是认清的它们的根源，然后尽量减少他们的发生。
人工智能在军事应用中的风险和漏洞
编者按语
鉴于人工智能和机器学习在战略竞争中的作用，必须了解这些系统带来的风险以及它们创造战略优势的能力。通过探索投毒、逃避、逆向工程和推理四类对抗性方法，为了解这些系统中的漏洞提供了一个窗口。作者以目标识别问题作为基础示例，探讨如何攻击AI系统的学习和思维。文章得出两个重要结论：首先，在任何使用人工智能的过程中，人类都必须参与其中。其次，人工智能在大国竞争时代可能无法为美国提供战略优势，但必须继续投资并鼓励人工智能在道德上的使用。
前言
人工智能在日常生活中无处不在，战争也不例外。有报道称，2020年1月对伊朗顶级核科学家的暗杀是由一种自主的、人工智能增强的步枪执行的，该步枪每分钟可发射600发子弹。俄罗斯和中国正在迅速发展，并在某些情况下部署支持人工智能的非正规战争能力，而为我们的日常生活提供动力的人工智能系统开始出现同样的裂痕、偏见和不良后果，这只是时间问题。这种不良企图用于发动战争并旨在杀戮的人工智能系统中，也不是什么天方夜谭。
鉴于人工智能和机器学习在战略竞争中的作用，我们必须了解这些系统带来的风险以及它们创造战略优势的能力。通过探索对抗性方法，可以开始建立这样的认知。对四类对抗性方法的考察，为了解这些系统中的漏洞提供了一个窗口。在本文中，我们将以目标识别问题作为基础示例，探讨如何攻击AI系统的学习和思维。该分析得出两个重要结论：首先，在任何使用人工智能的过程中，人类都必须参与其中。其次，人工智能在大国竞争时代可能无法为美国提供战略优势，但我们必须继续投资并鼓励人工智能在道德上的使用。
对抗性方法
与其他军事系统一样，人工智能系统经历了多个不同的生命周期阶段——开发（数据收集和训练）、测试、操作和维护。在这当中的每一个阶段都存在必须识别的独特漏洞，我们对此进行了很多解释。我们将继续开发一个假设的人工智能目标识别系统，该系统正在学习识别敌方装甲车辆。在每个阶段，我们都将探索相关类别的对抗方法——投毒、逃避、逆向工程和推理——以及我们如何保护系统免受每种方法的侵害。
1.1投毒
任何人工智能系统开发的第一步都是问题识别和数据收集。随着我们识别敌方装甲车的挑战，必须明确当前的问题。想识别所有敌方装甲车，还是只识别特定对手的某种类型？这个问题定义指明需要收集和准备一组相关数据，在这种情况下，这些数据将包括大量感兴趣的敌方装甲车辆的图像。我们不仅必须积累所有感兴趣的车辆的图像，而且还需要各种条件下的图像——例如，不同的光线、不同的角度、有限的曝光和备用通道（例如，红外线、日光）。然后由数据分析师准备数据，用于人工智能系统的训练。然而，开发人工智能系统所需的大量数据会造成漏洞。数据量意味着分析师没有能力验证每张收集的图像是否为真实的敌方装甲车，或者图像代表了装甲车的全部类型。
这个阶段是对手可以通过一种称为投毒的技术攻击人工智能系统的第一个阶段。中毒的目的是改变AI系统在训练中使用的数据，从而使AI学习到的数据存在缺陷。此过程会在系统投入运行之前攻击系统的完整性。
制作恶意原始数据以得出有缺陷的分析结果的基本方法与传统的军事欺骗相同。水银行动是二战期间盟军入侵诺曼底之前的一项欺骗行动，旨在攻击德国的防御分析模型。为了完成这次攻击，盟军创建了一支由乔治·巴顿中将领导的幽灵军队（中毒数据），以诱导德国人对他们应该将防御重点放在哪里（模型输出）的分析（模型）。
如此大规模的欺骗操作，在当今互联互通的社会中可能更难实现，但对数据投毒是可行的。对手知道我们正在追求支持人工智能的目标识别。知道这样的人工智能系统需要其当前装甲车辆的训练图像，对手可以通过操纵其车辆的外观来毒化这些训练图像。这可能就像在他们怀疑可能受到监视的车辆上添加一个独特的符号（如红星）一样简单。然后，AI系统将根据这些故意操纵车辆的有毒图像进行训练，并“学习”所有敌方装甲车辆都有红星。
虽然这种中毒攻击会在竞争状态下发生，但当对手部署没有红星的装甲车以避免被发现时，这种影响就会在冲突中体现出来。此外，对手可以在民用车辆上涂上红星，以诱导我们的人工智能系统错误地将民用车辆识别为军用车辆。
可以通过多种方式确保我们的系统正确学习。详细的数据管理可以帮助减轻风险，但会消耗宝贵的时间和资源。相反，可扩展的解决方案包括数据治理策略，以提高用于AI系统的数据的完整性和代表性。在AI生命周期的所有阶段，适当放置技术控制和训练有素的人员将进一步降低中毒攻击的风险。
1.2逃避
第二种攻击类型，规避，依赖于类似的基本攻击原理，但在AI系统运行时部署它们。逃避攻击不是毒化AI正在学习的内容，而是针对AI学习的应用方式。这听起来可能微不足道。但是，它对攻击者成功所需的资源以及防御者需要采取的行动具有重大影响。在中毒攻击中，攻击者需要控制或操纵用于训练模型的数据的能力。在规避攻击中，攻击者至少需要能够在操作期间控制AI系统的输入。
规避攻击非常适合计算机视觉应用，例如面部识别、对象检测和目标识别。一种常见的规避技术涉及稍微修改某些图像像素的颜色，以攻击AI系统如何应用它所学到的知识。在人眼看来，似乎什么都没有改变；然而，人工智能现在可能会对图像进行错误分类。研究人员展示了这种技术的效果，先前正确识别熊猫图像的人工智能系统，在面对整个图像中添加了人眼无法察觉的颜色（显示看起来是仍然是相同的图像）时，它被操纵了。人工智能不仅将熊猫误认为是长臂猿，而且非常自信。
对于那些可以访问AI系统输出或预测结果的攻击者，可以开发出更强大（所有熊猫图像都被错误识别）或有针对性（所有熊猫都被视为另一种特定动物）的逃避方法。
规避攻击原理也可以在物理世界中使用——例如，戴上特制的太阳镜来模糊或改变你在面部识别摄像头上的图像。这与伪装背后的原理相同。在这种情况下，对手的目标是模型的感知而不是人类的感知。在军事环境中，如果对手知道我们的AI瞄准系统是在带有沙漠伪装的坦克上训练的，那么对手的坦克可以简单地重新涂上林地伪装，以故意逃避A系统的检测。人工智能增强型自主侦察系统现在可能无法有效识别目标，也无法为指挥官提供及时准确的情报。
规避攻击是研究最广泛的对抗方法之一，因此防御所有可能的攻击媒介将被证明具有挑战性。然而，强化人工智能系统的步骤可以增加对它们按预期运行的整体信心。其中一个步骤是在部署之前应用工具进行评估。这些工具针对各种已知的对抗性方法测试AI系统，为我们提供对其稳健性的定量测量。在动作过程中尽可能保持人员参与也可以减轻规避攻击。
1.3逆向工程
前两类攻击在开发和运行期间针对AI系统具有相似的基本原理。这些攻击也与欺骗和伪装等传统军事概念有着天然的相似之处。然而，人工智能系统面临的风险并不那么简单，在开发和运营之外还存在潜在的漏洞。人工智能系统在维护或存储时存在哪些漏洞？如果对手通过网络入侵或在战场上捕获下一代支持人工智能的无人机获得对人工智能系统的访问权，会有哪些风险？
第三种情形，称为逆向工程的攻击中，攻击者攻击AI系统的目的是提取AI系统所学的内容，并最终使模型得以重建。要进行逆向工程攻击，对手需要能够将输入发送到模型并观察输出。这种攻击绕过了模型本身的任何加密或混淆。对于我们假设的目标识别AI，这种攻击可以由对手发出不同类型的车辆（输入）并观察哪些车辆引起AI的响应（输出）来进行。虽然这种攻击需要时间并冒着资源损失的风险，但最终对手将能够了解目标识别模型能够识别出哪些威胁。
有了这些信息，对手就可以开发出自己的人工智能系统版本。除了使其他对抗性攻击更容易开发之外，直接了解AI如何做出决策，会使对手能够预测我们的反应或完全避免反应措施。这种对人工智能增强决策过程的洞察力将对整个冲突过程中的运营安全构成重大威胁。
保护AI系统免受逆向工程可能会很困难，尤其是因为任务要求可能要求系统允许许多查询或加权输出，而不是简单的二元决策。这凸显了需要一系列量身定制的政策来管理与对抗性方法相关的风险。这些可能包括对支持人工智能的系统的严格问责，特别是那些部署在边缘的系统，如无人机或智能护目镜。此外，可以通过只允许授权用户查看系统输出来施加访问限制。
1.4推理攻击
最后一类攻击，称为推理攻击，与逆向工程有关。对手不是试图恢复AI系统学到的东西，而是试图提取AI系统在其学习过程中使用的数据。这是一个微妙但有意义的区别，对在敏感或分类数据上训练的模型具有重要意义。
为了进行推理攻击，与逆向工程一样，对手需要能够将输入发送到模型并观察输出。通过一组输入和输出，对手可以训练一个对抗性AI，该AI预测是否使用给定的数据点来训练我们的友好模型。
想象一下，目标识别AI是根据对手新武器系统的机密图像进行训练的。使用推理攻击，对手可以得知该武器系统的机密性已被泄露。换句话说，对人工智能系统的推理攻击可能会促进机密情报的泄露。如果在对峙期间这样做，可能会对危机和冲突产生重大影响。
与逆向工程非常相似，管理与推理攻击相关的风险将主要通过策略决策来处理。除了访问策略决策之外，在AI系统的训练中何时使用敏感或机密数据、使用什么类型的数据以及使用什么数量等问题，都将面临艰难的决策。这些决策需要平衡性能与风险，以开发仍能满足任务要求的人工智能系统。
对大国竞争的启示
当然，这显然不是对所有对抗方法的详尽解释。然而，这个框架应该提供一个充分的概述，领导者可以借此探索将人工智能系统整合到军事应用中，会有哪些积极和消极的全部影响。美国和其对手都在追求这项技术，以在未来的战略竞争中获得不对称优势，双方都无法赢得这样的优势。
2.1数据不对称
当考虑技术和不对称优势时，从第一原则开始并考虑对“原材料”的相对获取是有用的。在人工智能系统中，原材料是数据——大量的数据。美国是否可以获得与我们的对手相同质量和数量的数据？考虑到美国国家安全中围绕隐私和数据安全的法律因素和社会规范——它们本身就是关键话题——答案显然不是“是”。这表明美国在人工智能系统的开发和部署方面将处于固有劣势。
2.2开发能力
训练有素的人员是人工智能系统的另一个关键资源。正如陆军已确定其“以人为本”战略，拥有合适的人员对于美国在战略竞争中的成功至关重要。美国在工业、学术界和军队方面都有人才。能否招募、留住这些人员，并将其用于解决棘手的国家安全问题，这是一个值得深思的悬而未决的问题。在短期内，应该识别已经在军队中的有才华的人，并且应该同步各个组织在人工智能方面的不同进展和成果。
2.3人工智能只是一种工具
人工智能是一种工具。像任何其他工具一样，它具有固有的优势和劣势。通过对这些优势和劣势进行深思熟虑和现实的评估，美国可以在人工智能的风险和回报之间找到最佳平衡。虽然人工智能可能无法提供美国在战略竞争中寻求的最大不对称优势，但我们也不能将技术让给在该领域大量投资的对手.相反，美国可以而且应该支持人工智能的道德使用，促进对强大人工智能的研究，并为人工智能系统开发防御性最佳实践。在了解人工智能系统的脆弱性和局限性的基础上实施这些行动和其他行动，将引导美国更有效地将人工智能纳入大国竞争时代的战略。
作者简介
NickStarck上尉是美国陆军网络军官，目前在陆军网络研究所担任研究科学家。他的研究重点是信息战和数据隐私。
DavidBierbrauer上尉是美国陆军的一名信号官。他于2021年获得约翰霍普金斯大学应用数学和统计学工程学硕士学位。目前是陆军网络研究所的数据工程师和数据科学家。
PaulMaxwell博士于1992年被任命为装甲军官，并担任过XO/S-3营、S-4旅、连长、侦察排长、XO连和机械化步兵排长。在美国军事学院，先后担任电气工程与计算机科学系讲师、助理教授、副教授。他目前的职位是西点军校陆军网络研究所的副主任。
参考资源
1、https://mwi.usma.edu/artificial-intelligence-real-risks-understanding-and-mitigating-vulnerabilities-in-the-military-use-of-ai/
声明：本文来自网空闲话，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系anquanneican@163.com。