新一代人工智能的发展与展望人工智能可能性的双重参照

发表时间：2023-07-04 07:40:00

新一代人工智能的发展与展望

随着大数据、云计算等技术的飞速发展，人们生产生活的数据基础和信息环境得到了大幅提升，人工智能（AI）正在从专用智能迈向通用智能，进入了全新的发展阶段。国务院印发的《新一代人工智能发展规划》指出新一代人工智能相关学科发展、理论建模、技术创新、软硬件升级等整体推进，正在引发链式突破，推动经济社会各领域从数字化、网络化向智能化加速跃升。在4月10日“吴文俊人工智能科学技术奖”十周年颁奖盛典中，作为我国不确定性人工智能领域的主要开拓者、中国人工智能学会名誉理事长李德毅院士荣获“吴文俊人工智能最高成就奖”，并在大会上作题为《探索什么叫新一代人工智能》的报告，探讨了新一代人工智能的内涵和路径，引领着新一代人工智能的发展与展望。

人工智能这一概念诞生于1956年在美国达特茅斯学院举行的“人工智能夏季研讨会”，随后在20世纪50年代末和80年代初先后两次步入发展高峰，但因为技术瓶颈、应用成本等局限性而均掉入低谷。在信息技术的引领下，数据信息快速积累，运算能力大幅提升，人工智能发展环境发生了巨大变化，跨媒体智能、群体智能成为新的发展方向，以2006年深度学习模型的提出为标志，人工智能第三次站在了科技发展的浪潮之巅。

当前，随着移动互联网、物联网、大数据、云计算和人工智能等新一代信息技术的加速迭代演进，人类社会与物理世界的二元结构正在进阶到人类社会、信息空间和物理世界的三元结构，人与人、机器与机器、人与机器的交流互动愈加频繁。在多源数据、多元应用和超算能力、算法模型的共同驱动下，传统以计算机智能为基础的、依赖于算力算法和数据的人工智能，强调通用学习和大规模训练集的机器学习，正逐渐朝着以开放性智能为基础、依赖于交互学习和记忆、基于推理和知识驱动的以混合认知模型为中心的新一代人工智能方向迈进。应该说，新一代人工智能的内核是“会学习”，相较于当下只是代码的重复简单执行，新一代人工智能则需要能够在学习过程中解决新的问题。其中，学习的条件是认知，学习的客体是知识，学习的形态是交互，学习的核心是理解，学习的结果是记忆……因此，学习是新一代人工智能解释解决现实问题的基础，记忆智能是新一代人工智能中多领域、多情景可计算智能的边界和约束。进而当人类进入和智能机器互动的时代，新一代人工智能需要与时俱进地持续学习，不断检视解决新的问题，帮助人机加深、加快从对态势的全息感知递进到对世界的多维认知。

事实上，基于数据驱动型的传统人工智能，大多建立在“数据中立、算法公正和程序正义”三要素基础之上，而新一代人工智能更关注于交互能力，旨在通过设计“记忆”模块来模仿人脑，解决更灵活多变的实际问题，真正成为“不断学习、与时俱进”的人工智能。特别是人机交互支撑实现人机交叉融合与协同互动，目前已在多个领域取得了卓越成果，形成了多方面、多种类、多层次的应用。例如，在线客服可以实现全天候不间断服务，轻松解决用户咨询等问题，也可将棘手问题转交人工客服处理，降低了企业的管理成本；在智慧医疗领域，人工智能可以通过神经影像实现辅助智能诊断，帮助医生阅片，目前准确率已达95%以上，节省了大量的人力；2020年，在抗击疫情的过程中，新一代人工智能技术加速与交通、医疗、教育、应急等事务协作联动，在科技战“疫”中大显身手，助力疫情防控取得显著成效。

未来已来，随着人工智能逐渐融入居民生活的方方面面，将继续在智慧医疗、自动驾驶、工业制造智能化等领域崭露头角。一是基于新一代人工智能的智慧医疗，将助力医院更好记录、存储和分析患者的健康信息，提供更加精准化和个性化的健康服务，显著提升医院的临床诊断精确度。二是通过将新一代人工智能运用于自动驾驶系统的感知、预测和决策等方面，重点解决车道协同、多车调度、传感器定位等问题，重新定义城市生活中人们的出行方式。三是由于我国工业向大型化、高速化、精细化、自主化发展，对高端大规模可编程自动化系统提出迫切需求，新一代人工智能将推动基于工业4.0发展纲领，以高度自动化的智能感知为核心，主动排除生产障碍，发展具备有适应性、资源效率、人机协同工程的智能工厂应运而生。总之，如何展望人工智能通过交互学习和记忆理解实现自编程和自成长，提升自主学习和人机交互的效率，将是未来研究着力发展的硬核领域，并加速新一代信息技术与智能制造深度融合，推动数字化转型走深走实，有信心、有能力去迎接下一场深刻产业变革的到来。

李麒｜人工智能伦理规范的初步探讨

原创李麒上海市法学会东方法学收录于话题#上海法学研究379个#核心期刊591个#法学647个#原创首发739个

李麒

北京理工大学珠海学院民商法学院教授

要目

一、前言

二、伦理规范的理论基础

三、人工智能的伦理规范

四、建立伦理监督委员会

结论与建议

2019年5月25日北京智源人工智能研究院联合北京大学、清华大学、中国科学院自动化研究所、中国科学院计算技术研究所等单位，共同发布《人工智能北京共识》，提出人工智能的研发、使用、治理应该遵循有益于人类命运共同体建构和社会发展的15条原则。

一、前言

人工智能研发应符合伦理的设计方法，尽可能公正，减少系统歧视与偏见，提高系统透明性，增加系统可解释度、可预测性，使系统可追溯、可核查、可问责等。2019年7月，中国国家新一代人工智能管理委员会发布《新一代人工智能管理原则》，提出尊重人的隐私、尊严、自治和重视权利，不应使用人工智能伤害人类。另一方面，人工智能的伦理价值在美国也有广泛的讨论，大型科技公司提出人工智能伙伴关系等概念。2017年谷歌公司放弃与美国国防部续约，原因是美国国防部要求该公司将先进的人工智能技术应用于军事用途。1983年成立的计算机专业人员社会责任组织（ComputerProfessionalforSocialResponsibility,CPSR）及联合国人权观察组织都主张禁止全自动武器的条约，例如自主选择轰炸目标的无人机等。人工智能伦理问题向来受到各界广泛关注，包括联合国发布的《关于机器人伦理的研究报告》、国际标准化组织IEEE发布的《合理伦理设计：利用人工智能和自主系统最大化人类福祉的愿景》；由Hawking、ElonMusk等人推动的人工智能23条准则（或称阿西洛马人工智能原则）；英国剑桥的存在风险研究中心（CSER）、牛津的人类未来研究所（FHI）、美国波士顿的未来生命研究院（FutureofLifeInstitute）。美国麻省理工学院媒体实验室（MITMediaLab）与哈佛大学伯克曼·克莱因互联网与社会研究中心（BerkmanKleinCenterforInternet＆Society）合作推出的耗资2700万美元的AI伦理研究计划；加拿大蒙特利尔大学人工智能伦理小组发布的《负责地发展人工智能的蒙特利尔宣言》；等等。现代社会技术和法律时常处于紧张状态，虽然技术促进新的发明，但法律则趋向保守，基于社会道德或人类恐惧而禁止克隆就是一个例证。有人认为超级智能的发展，会因其优越性而超越人类，进而夺取道德评价的话语权，使人类失去道德尊严的主动权。这虽是对新兴科技发展的普遍忧虑，但法律不应成为科技创新的阻碍，因此2017年7月8日国务院制定《新一代人工智能发展规划》，提出制定促进人工智能发展的法律法规和伦理规范。工信部出台《促进新一代人工智能产业发展三年行动计划（2018—2020）》，教育部出台《高等学校人工智能创新行动计划》，中央全面深化改革委员会第七次会议审议通过《关于促进人工智能和实体经济深度融合的指导意见》。2020年7月27日，国家标准化管理委员会、中央网信办、国家发改委、科技部、工业和信息化部等五部委印发《国家新一代人工智能标准体系建设指南》，要求到2021年，明确人工智能标准化顶层设计，完成安全、伦理等重点标准的预研工作，2023年初步建立人工智能标准体系。上述文件均显示人工智能伦理发展受到高度重视。

以自动驾驶车辆的伦理规范设定为例，若以符合全体社会成员最大利益为原则，则会采取强制的伦理设定（mandatoryethicssetting，简称MES），而排除让每一个司机或乘客都选择个人化的伦理设定（personalethicssetting，简称PES），由于自动车驾驶涉及公共利益，片面尊重工具使用者的自主权，基于人类自利的本质，很可能导致公共安全与道德的双重危险，基于社会共同体的责任与价值利益考虑，强制伦理设定是比较妥适的作法。但是在具体设定算法时，如何避免算法偏见和歧视？若以功利主义为算法基础，为了拯救多数人，仅载有一名乘客的车辆有很大几率会成为事故撞击的目标；若采取最小化伤害原则的道德算法，德国制的自动驾驶车辆是否可能选择日本车为撞击对象，因为一般而言，日本车的防护钢板较薄弱，如何决定类似的伦理规范显然值得讨论。

二、伦理规范的理论基础

2018年世界人工智能大会发布的“上海倡议”提出建立与人工智能创新发展相适应的立法规范、法律体系、政策体系和伦理体系，制定技术设定阶段的法律规范，通过规则设定促进人工智能算法的公正、透明、安全，避免算法歧视，2019年中国国家新一代人工智能治理专业委员会发布《新一代人工智能治理原则—发展负责任的人工智能》特别强调此理念。人工智能的伦理规范非常重要，主要包括为智能机器人预设道德准则、设定人工智能技术研发及应用标准，建立人工智能产品本身的道德指引，以及规制科研人员的伦理规范。科学技术要解决的是“能不能”的实然问题，伦理学要解决的是“该不该”的应然问题，人工智能不仅是单纯的技术问题，也是哲学问题。以下提出几种典型案例的思考方式，部分案例来自1985年美国教授JJ.Thomson提出的电车难题（TheTrolleyProblem）：

典型案例：

案例1：电车难题

假设某辆电车沿着既定路线前行，电车突然发生故障而无法操控，如果电车继续前行会碾毙在既定路线上工作的五位作业员，此时刚好有一位作业员A站立于轨道分转器旁边，目击了现场状况，A如果使用轨道分转器切换路线，可以让电车转入另一条轨道而拯救五位作业员的性命，然而在切换后的轨道上有一位作业员B正在工作，轨道切换后电车会将B碾毙，试问A是否应该作出转换轨道的决定。不选择转换轨道将导致五位作业员死亡，选择转换轨道会导致作业员B死亡，A如果选择后者，法律上是否可以主张紧急避险。

案例2：陆桥上的胖子

突然失去控制的电车持续前行，如果继续前行会碾毙在既定路线上工作的五位作业员，A与完全不知情的C正好走在陆桥上，C体型非常肥胖，如果A突然将C推落桥下，以C作为障碍物则刚好可以让电车停止（题目设定为牺牲C一定会使电车停止），因而救助五位作业员的性命。A是否应该推C下桥？

案例3：自动驾驶车辆的情况

在深不可测的溪谷上有一条非常狭窄细长的陆桥（只能单线双向通行），A搭乘自动驾驶车辆（A并未操作车辆）正在桥上行进，对向开来一辆大巴士（有乘客40人），大巴司机突然失去意识导致该车越过车道线，直接冲向搭乘A的自动驾驶车辆，此时如果A的车辆加速前进稍微擦撞大巴车的侧边，可以保护A的安全，但是大巴车会掉落山谷，车上40人均会死亡；如果A的车辆不加速，直接与大巴士正面相撞，则A死亡，大巴士不会掉落山谷，车上乘客均会获救，A所搭乘的自动驾驶车辆应该加速，还是不应该加速？

案例4：社会评价体系下的自动驾驶车辆

甲为大学教授，具有名校毕业的博士学位，认真工作，乐善好施、义务担任社会服务工作，服务人群曾受政府表扬，人工智能系统赋予的社会评价分数为95分；乙未接受良好教育，无业而四处游荡，曾因盗窃罪在监狱服刑，人工智能系统给予的社会评价分数是20分，某日乙不遵守十字路口交通标志，违规闯红灯穿越马路，甲所搭乘的自动驾驶汽车正准备通过该路口，此时因不明原因汽车刹车失灵，汽车正迅速向乙接近，人工智能系统立即作出判断，无论直接撞击乙或右转撞击路树都可以使车停下来，此时人工智能作出何种选择会符合正义的要求？

伦理规范的哲学理论与案例思考

伦理规范是划定个人行为与社会组织界限的一种方法，西方社会有两种主要的道德理论，一是边沁的功利主义理论，利益最大化作为道德标准，在以效用主义为基础的博弈论在人工智能中经常被用于理解个体与群体的相互作用，为算法的伦理分析提供基础。二是康德的义务道德论，道德动机是人类行为的准则，理性且具有自由意志的人是道德主体，能作出最终决策，人本身就是目的，任何人都不能将他人作为工具，或达成特定目的的方法或手段。问题在于此种绝对律令的观点，如何转换为人工智能的正确规则。温德尔·瓦拉赫、科林·艾伦认为机器人可以根据人类的普遍道德法则作出是非判断，具有理性能力。康德认为自主性是人类自我意识的根本条件，如果机器人可以超越人类控制，这种自主技术性的概念会令人感到不安，因为赋予人工智能自主性，代表人的自主性被替代，主客体的地位将发生变化。可能的解决方法是在人工智能设计之始，将一些伦理规则作为绝对律令，以代码的方式写入人工智能的程序中，例如机器绝对不能攻击人类，特别是老弱妇孺，植入规范性伦理程序就是康德道德律令的代表。

人工智能道德伦理的责任议题，包括人权伦理、责任伦理、道德地位伦理、代际理论、环境理论以及大数据伦理与隐私，以联合国宣言为基础，有人认为应将人类责任与机器人责任伦理的标准同等对待，主要包括正义与团结、相互尊重与合作、信任与容忍、基本人性准则等。建立在亚里士多德道德观念上的人工智能道德理念，是自下而上的理论体系，机器可以自主学习，而具有类似神经网络链接机制的机器人就有可能具备道德判断能力。

如果采取边沁的功利主义，应当追求“最大多数人的最大幸福”，案例1及案例2都会作出拯救5人的生命利益大于牺牲1人的生命利益的决定。案例3自动驾驶车辆不加速与大巴士直接相撞，才能拯救车上40位乘客的生命，A的生存机会势必被选择放弃，人工智能设计师必须预先设定“牺牲自驾车乘客”的程序模式，在这种情况下，是否还有人选择使用自动驾驶车辆？如果采取康德的道义责任论，无论在任何情况下，人的生命都不可以因为特定目的而被利用，则案例1及案例2都会作出不救助5个作业员的决定，因为生命的价值没有数量或高低的区别。在案例3的情况由于生命价值相等，自动车加速与否都会造成生命损失，程序设计师是否应该优先考虑使用者的安全，保护使用者（消费者）安全是否为产品制造或设计者的法律义务？

其次，针对案例4，若采取功利主义，AI的设计者应该会选择让汽车直接撞击乙，因为甲的社会评价分数90分远高于乙的20分；如果采取康德的道义责任论，人始终是目的，而不能成为达成特定目的的方法或手段，所以不能把人单纯当作客体对待，由于每一个人的生命价值相同，AI的设计者应当会让汽车右转撞树而导致甲死亡或受伤。由上可知，AI对于甲、乙生死的决定取决于工程师对于算法的设计。无论AI选择直接撞击或转向都会导致对人工智能数理逻辑算法的疑虑，直接撞击会造成阶级对立，加剧社会精英与普通民众的紧张关系；转向则会使无人驾驶汽车失去用户，因为每一次驾驶都类似俄罗斯赌盘，搭乘者可能会因突发事件而被牺牲，个人没有过错却必须成为被选择牺牲的对象。

案例3及案例4的自动驾驶车辆程序设计者必须面对一项难题，应当对人工智能输入何种价值选择标准，在更复杂的情形下，例如一方车辆的乘客只有5年的余命，另一方乘客有20年的余命，哪一辆车的安全应当优先考虑（事实设定为两辆车可以自动交换乘客信息）？又如果两车乘客的余命完全相同时，一方是高额纳税人，另一方是欠税大户，自动驾驶车辆的程序参数（parameter）又应该如何设计？

另一种观点认为，根据哲学上的双重效果原则（Doctrineofdoubleeffect），行为人虽然应该对于自己意图决定所产生的损害结果负责，但即使发生损害且能预见结果的发生，若损害不是根据有害意图的行动所造成，就不应该追究行为人的责任（前提是此行为是人道的、或至少是道德中立的、或不会为自己带来直接利益）。案例1中A转动换轨器时虽然预见B的死亡，但A的意图是为了拯救5个作业员的生命，因此B的死亡只是附随发生的结果；案例2中A的直接意图是将C推落桥下，C的死亡附随产生救助5名作业员的结果，根据双重效果原则，案例1可以被正当化，但案例2则不能被正当化。

人工智能的伦理规范必须保留人类的基本价值观。一般而言，人工智能采取的是工具理性表现方式，人类行为则具有价值理性的思维，将此种价值理性转化为精确的算法设计十分困难，而且不同的文化习俗、宗教信仰、社会公德自有不同的价值判断标准，人工智能面对价值体系如何选定价值体系，其本身虽是一个难点，但是在算法中嵌入公平、正义、良善等价值观的追求应该是正确的方向。具体的方法是将人的道德理性融入算法程序，研发“道德代码”以明确人工智能的道德主体责任，道德代码指程序员除了按科学方式编码外，同时在代码中融入道德感情，使编码在执行程序时具有道德价值判断功能，亦即编码本身应具备道德功能。人工智能的道德属性源于人类自身的道德认识，这种道德属性需要专家的技术设计，所以健全程序设计者的伦理体系与道德观是根本的问题。

三、人工智能的伦理规范

域外的人工智能伦理规范

1.欧洲

欧洲议会的法务委员会（JURLCommittee）于2015年1月召开关于机器人与AI进化的法律问题工作会议，同时设立专责工作小组，该委员会于2017年1月提出“关于机器人民事法规则的欧洲委员会建议”报告，认为欧洲应该设置管理机器人与伦理规则的专责机构并建立适用于欧洲全境的管理规则，长期而言，未来对于自律型的机器人可以讨论赋予电子人格的可能性。本报告提出广泛受到重视的五项伦理原则，内容包括自由、隐私、人性尊严、自己决定权等，对于机器人运用所造成的影响实施评估；人们拒绝使用人工智能，但仍会因人工智能对生活产生实质影响时，应当对于人工智能决策的各种可能性，寻求理论依据；AI的算法必须能还原为人类可以理解的型态或方式；强人工智能的逻辑程序决定程序，必须全程予以记录备案，不能存有黑箱的现象，确保“透明性原则”的落实。同时在附录部分（Annex），提出对人工智能工程师的伦理行为准则（CodeofEthicalConductforRoboticsEngineers），这个准则属于建议、指导的性质，没有强制性，对于人工智能工程师的具体行动方针包括

（1）善行（Beneficence）：人工智能的行为必须符合人类利益。

（2）无害（Non-maleficence）：无论在任何情况下，机器人都不能伤害人类。

（3）自主性（Autonomy）：使用机器人所提供的人类信息，不能以强制方式取得，必须根据人类的自由意志作成决定。

（4）正义（Justice）：特别是居家治疗，使用照护式机器人时应当给予公正的利益分配。

2017年6月德国交通部伦理委员会公布《自动和联网驾驶》报告，提出自动车驾驶的20条伦理规则，其核心内容包括保护个人优先于其他一切功利主义的考虑；当危险情况不能避免时，保护人类生命优先于其他法律利益，为了避免人员伤亡，在编程上允许对给动物或者财产造成损害；道德困境下的决策依赖于现实的具体情况，无法清楚地给予明确标准；处于无法避免事故发生的境况下，禁止以年龄、性别、生理或心理状况等人身特征进行歧视性决策，不得牺牲无关的他人。2016年4月德国政府通过法律，将“驾驶员”定义扩大到能够完全控制车辆的自动人工智能系统，同时提高无人驾驶的保险费与赔偿费。

为了避免算法歧视，我们应当有合理的AI设计，可以将人类社会的法律、道德等规范和价值嵌入AI系统，根据国际标准化组织IEEE提议，首先是规范和价值的发现，确定AI系统应当遵守哪些规范，在价值相互冲突时又应该如何抉择；其次是法律或道德规范能否转换为计算器代码写入AI系统，采取方法是自上而下地将规则写入系统，要求人工智能遵守规则，还是自下而上由机器自我学习价值与伦理规则，目前尚无定论；最后是对人工智能采取的价值和规范进行评估，从三方面加以评估，包括使用者评估、主管部门评估和行业组织评估。

2.日本

日本政府于2016年5月30日设置“关于人工智能与人类社会恳谈会”，经过6次讨论，于2017年3月24日提出正式报告，该报告提出人工智能的伦理论点：（1）随着人工智能技术不断进步，人工智能技术机器与人类关系可能会逐渐产生变化，对于未来新关系所形成伦理观的内容应事先设想规划；（2）应用人工智能技术所产生的服务，在作成决策的评价标准与处理优先次序时，仍会受到人类心智或行动的控制，此类决策如果受某些特定的人类感情、情绪或信念的制约，就会令一般人产生不安全感，特别是在我们没有察觉，一切决定都受程序操控的状况下，伦理规范的讨论显得更为重要；（3）运用人工智能技术会扩展人类在时空或身体领域的范围，但是应该注意人工智能与人类能力与情感方面的相互作用，适度加以调适；（4）对于与人工智能技术有关的行为或创新价值，应给予适当评价，而这种价值观要考虑社会接受程度，尽可能的采取多元化的观点。2017年7月日本总务省情报通信研究所在《2017报告书—关于推动AI网络化国际议题的讨论》报告书中提出《AI发展纲领》，提出伦理原则的内容是“开发者应当尊重人性尊严与个人自主，在开发与人类脑部或身体相连的AI系统时，应注意有关生命伦理的争议，并予以特别慎重的考虑。开发者参照技术的特性在可能的范围内，应努力排除包含AI系统学习数据在内，所形成的一切偏见和其他不当差别对待的措施。开发者应遵守国际人权法、国际人道法，随时注意AI系统是否有不符合人类价值的行为”。

3.美国

2016年5月美国奥巴马政府在白宫召开AI所带来利益风险的工作会议，会议结论，提出《对未来人工智能的准备》（PreparingfortheFutureofArtificialIntelligence），该报告提出面对未来人工智能的23点事项，其中也涉及AI伦理问题，所有的事项都可以提供美国联邦政府及各界参考，第16点是“联邦政府机关应当考虑如何确保人工智能的有效性与公平性”，第17点强调人工智能系统透明性的重要性。第18点要求在各级学校的重要课程中，例如人工智能、机器学习、计算器与数据科学等的科目，在安全性与隐私方面设计出与伦理规范有关的主题。第23点提及对全自动或半自动武器的相关政策要符合国际人道法的规定。报告结论认为随着人工智能的持续进步，如何确保人工智能的透明性与说明可能性显得十分重要，人工智能的理解过程与人类理性的思维间如何取得平衡也应受到重视。

4.民间组织

（1）电器和电子工程师协会IEEE（TheInstituteofElectricalandElectronicsEngineers）

IEEE是总部设在美国的电器工学、电子工学技术的学会，该学会是世界最大的技术者研究团体。IEEE于2016年4月通过《伦理因素的自动化系统设定的全球化倡议》（TheGlobalInitiativeforEthicalConsiderationsintheDesignofAutonomousSystems），认为在谋求伦理、法律和社会目标一致性的前提下，确有必要对于AI系统的设计方法予以研究，因而提出此项计划。2016年12月接着公布第1版《伦理指引—以人类福为的优先人工智能与自动系统》（EthicallyAlignedDesign-AVisionforPrioritizingHumanWellbeingwithArtificialintelligenceandautonomousSystem,Vision1forPublicDiscussion），〔2018年2月整理了来自全世界包含美国、欧洲、中南美洲在内的官方与民间专家约250人的意见后，公布了该指引的第2版。该版本共263页，大致分为下列主题：（1）一般原则；（2）自律智能系统价值观的内容；（3）伦理研究和设计的导入方法；（4）一般人工智能(AGI)与超人工智能（ASI）的安全性；（5）取得与使用个人信息的限制；（6）自主兵器系统的再规制；（7）经济与人道的问题；（8）法律；（9）人工智能对人类感情与情绪的影响；（10）政策；（11）自主智能系统的古典理论；（12）信息通讯技术（ICT）的复合实现（MR）；（13）人类幸福（自主智能系统的应有目标）。作为总论部分的“一般原则”包括（1）如何确保AI不会侵害人权（2）就社会繁荣度的指标而言，AI可以带来人类的幸福？（3）如何确认AI设计者、制造者、所有者与运用者的责任？（4）如何确保AI的透明度？（5）如何获得利益最大、风险最小的AI技术。各论部分对于现有指引内容过于抽象提出检讨，对于指引内容尽可能的予以明确化，例如对于“自律智能系统价值观的内容”的主题，其价值观内容固然应当符合社会的期待，不能违反法律规定与现存文化，但就规范与价值观而言，每个人的举止行为、语言、文化、艺术品味等各有自己的主观判断，自主智能AI系统应当如何设定学习方式就成为难点。不同形式的自主智能系统应如何搭配特定的规范或价值观，事实上也难以决定。首先，只能从特定群体（community）着手，针对符合特定工作（task）的自主智能人工系统，尝试寻求出可以遵循的规范内容。对于“自主智能系统的古典理论”的主题，AI的开发的伦理议题，不能仅围绕着西方伦理（功利主义、义务论、道德伦理学等）讨论，对佛教、儒教、日本神道等其他领域也应当加以考虑。

（2）人工智能百年研究（OneHundredYearStudyonArtificialIntelligence）

该组织由斯坦福大学毕业生所创立，以今后100年AI长期发展为研究目标，判断人工智能对于社会有何种影响，每五年提出观察、分析报告的一项研究计划，其成果是2016年9月发表的《ArtificialIn-telligenceandLifein2030》研究报告，报告分为交通、居家服务机器人、健康照护、教育、低资源消耗共同体的实现、公共安全和保障、职场与雇用、娱乐等8个部分，从长期展望加以分析，特别是交通部分的自动驾驶汽车、无人机运用部分有较多的描述，在法政策方面则主要讨论隐私权、创新政策、民事责任、刑事责任、代理、资格、劳动、税、政治等问题。

（3）人工智能合作组织（PartnershiponArtificialIntelligencetoBenefitPeopleandSociety,Partner-shiponAI）

PartnershiponAI是2016年9月由Amazon、Google、DeepMind（Google）、Facebook、IBM、Microsoft等成员所设立，2017年Apple、OpenAI等新成员加入，日本Sony也希望加入，这是一个发展人工智能的世界企业联合组织。该组织提出主题支柱（ThematicPillars）重点有：①重视AI安全性（Safty-CriticalAI）；②公平、透明而具可说明能性的AI（Fair,Transparent,andAccountable）；③人们与AI系统的协调（Collab-orationBetweenPeopleandAISystems）；④AI、劳动与经济（AILaborandtheEconomy）；⑤AI社会的影响（SocialandSocietalInfluencesofAI）；⑥AI和社会利益（AIandSocialGood）；⑦特别提议（SpecialInitiatives）。针对AI研究与技术的信赖、国际习惯和尊重人权、说明可能性等重要问题，该组织提出8大信条（Tenets）供各界参考。

（4）生命未来研究机构（FutureLifeInstitute）

该组织简称FLI，2015年由Skype共同创始人JaanTallinn等人所创设，该组织的咨询委员会由太空探索技术公司SpaceX社的埃隆·马斯克（ElonMusk）、宇宙物理学家史蒂芬·霍金（StephenHawking）、演员摩根·费理曼（MorganFreeman）等14位人士组成。2017年1月在美国加州阿西洛马（Asilomar）以“人工智能对人类有何利益”为主题，同年2月公开发表阿西洛马AI原则（AsilomarAIPrinciples），该原则有23条，其中与伦理价值观有关的课题，整理如下：

四、建立伦理监督委员会

为处理人工智能伦理问题，德国成立数据伦理委员会，个别企业也设立道德指引的规则，鉴于人工智能使用数字化的风险，由国家制定法律作为规范固然重要。但企业自主规制与建立伦理委员会也是不可欠缺的机制，欧盟委员会欧洲科学与新技术伦理小组，提出尊重人性、自主性等伦理清单。本文介绍日本人工智能的伦理监督委员会，以供参考。

日本人工智能学会成立于1986年，学会的伦理委员会设立于2014年。2017年2月学会公布《人工智能学会伦理指针》，整理其具体内容提供参考：

结论与建议

探讨人工智能道德理论的法律论文数量很多，但能提出具体解决方案的有限，甚至有人认为人工智能设计者、使用者或法律规定的道德选择不在其讨论机器人道德范围内。本文认为这是一个必须面对的难题，根据“理论—规则”驱动进路，将特定群体认可的价值观和道德标准程序化为道德代码，嵌入智能系统，内置道德决策场景的指导性抉择标准。理论上伊曼纽尔·康德（ImmanuelKant）的道义论、约翰·密尔（JohnMill）的功利主义和约翰·罗尔斯（JohnRawls）的正义论都可以成为参考选项。

人类自由意志的问题，在哲学上争论甚久，波蓝尼悖论（Polany’sParadox）认为，“我们知道的可能比我们能说出来的更多，如同司机的技能不可能完全用驾校的驾驶汽车理论来替代”。人工智能以海量数据信息为基础，可以按照既定算法进行预测，但人类拥有自由意志，在面对突发状况时也许会采取出人意料的决策，因为人类大脑掌握的能力高于既定的知识，可以说人类的思维存在着某种不确定的点，人们不是按照既定程序做决策，而是根据自由意志下判断。否定人类有自由意志的观点则认为人类的所有感受没有所谓“自由意志”，一切只是哺乳动物及鸟类拥有的生化机制，用来快速运算生存和繁殖的几率，直观的感受其实只是一套生化演算的结果。无论采取自由意志或生化演算的观点，人工智能的设计者都应当在算法设计阶段做好价值嵌入的程序，融入包括绿色、伦理、守法、自由、关爱在内的“共同善”的价值。

本文前述案例所提及的复杂问题，人类本身至今亦未能有一致的“正确”判断标准，如何期待程序设计者能够为人工智能嵌入一套具备普世价值的判断标准？马克思·韦伯提出诸神之争的本质是现代社会中价值观念之间的冲突，道德规范属于“应然”领域的价值判断，科学无法解决价值判断问题，沟通协调与坦然面对是理智成熟的解决方式，此部分仍有待人类共同努力。所以现阶段人工智能伦理规范多集中于外在规制层面，强调多元伦理原则，至于伦理规范的实质内容，或许可从人本主义为思考起点，以人性尊严作为人工智能立法的价值基础，以人的基本安全为底线，建立人工智能和机器人应用的基本伦理架构，作为人工智能规范政策的最高指导原则。在法制层面制定人工智能发展法，授权人工智能专门监管机构，建立全流程监管体系，成立“数据伦理委员会”，强化数据信息与隐私权保护，也是一个可行的方案。

2017年7月8日国务院制定的《新一代人工智能发展规划》强调采取三步走的战略目标：到2020年，部分领域的人工智能伦理规范和政策法规初步建立；到2025年，初步建立人工智能法律规范、伦理规范和政策体系；2030年，建成更加完善的人工智能法律法规、伦理规范和政策体系。在技术层面，国家标准化管理委员会于2018年1月成立国家人工智能标准化总体组，已发布《人工智能伦理风险分析报告》，目前正研究人工智能术语、人工智能伦理风险评估等标准。2019年我国亦发布《人工智能北京共识》《新一代人工智能管理原则》等重要文件，本文建议持续参考国内外伦理规范资料，设计政府部门的全国性监管方式、制定人工智能道德准则、成立各级人工智能伦理委员会，从而使得我国的人工智能规范更加完善。

原标题：《李麒｜人工智能伦理规范的初步探讨》

阅读原文

娄雪洋：论人工智能致人损害的法律规制

原创娄雪洋上海市法学会收录于话题#法学112#核心期刊112#原创首发112#上海法学研究77

娄雪洋中国政法大学法学院硕士研究生。

内容摘要

伴随着AI技术的发展和应用，人工智能致人损害的纠纷也不断涌现，对我国的现行法体系提出了考验。以自动驾驶汽车为例，根据其致损原因的不同，可将自动驾驶汽车致人损害分为人为操控下致人损害、因其产品缺陷致人损害以及因其自主行为致人损害三种情形。结合目前我国人工智能的发展状况，出于对不违背现行法律体系整体上的安定性又不无视人工智能致损问题的特殊性的双重考量，对现行侵权法体系进行适当的调整并辅以必要的配套机制便可解决此问题，而无须赋予其法律人格。

关键词：人工智能致人损害归责方式配套机制

随着“人工智能+”时代的迫近，人工智能的迅猛发展深刻地影响着人们的生产和生活方式，并且已经渗透到教育、医疗、养老、环境保护、交通、公共服务等各个领域，对个人、国家乃至整个人类社会影响深远。在个人层面，关于人工智能致人损害的纠纷不断涌现。在国家层面，人工智能已然成为很多国家发展战略的重要内容，也是现在乃至未来各个国家经济和科技竞争的重要领域。任何新兴产业的成长和繁育无不需要法律的配合与支撑，我国想要抢占人工智能全球制高点，就必然要健全相关的配套法律机制，对人工智能致人损害的法律规制就属于其中的重要内容。人工智能本身的自主性、难以预见性等特征也意味着我们必须在现有法律体系的基础上结合人工智能自身的特性对其致损行为的法律规制进行重新审视与完善。

目前，我国学术界关于人工智能致人损害的法律规制主要有两大观点：一是循用现行侵权法体系尤其是产品责任及替代责任来规制，不宜赋予人工智能以独立人格；二是借鉴法人制度通过法律拟制赋予人工智能以法律人格使其自身承担相应责任。

人工智能作为一个新兴的课题，目前学界对其致损问题的法学研究尚不甚多，该问题尚存极大的探讨空间。在当前的研究文献中，多数研究人员都是从整体上探究人工智能致损行为的法律规制，或者以脱离人为控制的程度为划分依据探究智能程度不同的人工智能致人损害案件的归责范式。这就忽略了以机器人的智能程度进行分类的不周延性以及相邻类别的界限模糊性。而本文将直接着眼于人工智能致损原因的不同，探究差别化的归责设计。结合目前我国人工智能的发展状况，综合考量现行法律体系整体上的安定性及人工智能致损问题的特殊性，探究切实可行的路径，以期实现既不阻碍创新又能最大程度上防控风险的良好效果。

一、何为人工智能

早在1956年的达特茅斯学会上，“人工智能”这一概念就被提出，并被确定为一个崭新的研究领域。经历了六十多年的发展，特别是随着互联网与计算机技术的发展，其进入全新的快速发展时代，对人类生产生活的影响日益凸显，也为愈来愈多的大众所知悉。然而直到今天，人人皆谈“人工智能”，却尚无人能够对其提出一个较为准确的、能被广泛接受的定义。

定义人工智能的主要困难在于如何定义“智能”。而人类是众所周知的拥有智能的天然且唯一的主体，那么界定人工智能势必要以人类的特征为参考，著名的图灵测试实质上也以此为原理。因而目前对人工智能的界定主要分为四类：像人一样思考（thinkinghumanly）；像人一样行为（actinghu-manly）；理性思考（thinkingrationally）；理性行为（actingrationally）。其中前两类从与人类表现的逼真度的维度出发，后两类从合理性的、理想的表现量的维度出发。但不论是“像人一样”的逼真度描述还是“理性”的表现量描述，似乎都不能为人工智能提供一个法律上的清晰界定，因为人本身的特质就是复杂多样的，而“理性”也本就为一个较为抽象和泛泛的概念。

本文也难以对人工智能给出一个较好的定义。所以为了避开概念的模糊性，本文将以自动驾驶汽车为载体，仅讨论由算法驱动的、并配合传感器、控制器、执行器等装置，通过信息共享、环境感知、协同控制、智能决策等实现一定目的或功能的有形机器人比如自动驾驶汽车、医疗机器人、制造作业机器人等致人损害的归责范式。另外，为了避免以机器人的智能程度进行分类归责的不周延性以及相邻类别的界限模糊性，本文将直接以致损原因为依据，将人工智能致人损害的情形分为人为操纵致损、产品缺陷致损、“自主行为”致损三种情形，并在此三种情形之下讨论各自的归责范式。

二、人工智能致人损害归责方式的分类化讨论——以自动驾驶汽车为例

（一）人为操控下自动驾驶汽车致损的归责方式

“智能网联汽车（也即自动驾驶汽车）自动驾驶包括有条件自动驾驶、高度自动驾驶和完全自动驾驶。有条件自动驾驶是指系统完成所有驾驶操作，根据系统请求，驾驶人需要提供适当的干预；高度自动驾驶是指系统完成所有驾驶操作，特定环境下系统会向驾驶人提出响应请求，驾驶人可以对系统请求不进行响应；完全自动驾驶是指系统可以完成驾驶人能够完成的所有道路环境下的操作，不需要驾驶人介入。”

在有条件自动驾驶和高度自动驾驶的情形下，驾驶员均有参与驾驶任务的可能，只不过在有条件自动驾驶的情形下驾驶员的参与度和参与频率更高，所以，此二种自动驾驶汽车致人损害均可能是缘于驾驶员的过错。当事故是由驾驶员积极或消极的不当操作导致时，自动驾驶汽车作为一种交通工具和普通汽车一样适用道路交通事故责任。道路交通事故责任的构成要件包括违法行为、损害事实、因果关系以及过错。而与普通机动车交通事故相比，有条件自动驾驶汽车和高度自动驾驶汽车的交通事故中，损害事实和因果关系的举证与前者并无二致，但驾驶员的过错及违法行为却较难举证。因为普通汽车运行时驾驶员全程操作，除了汽车本身存在缺陷的特殊情形外汽车完全按照驾驶人的意志运行，因而可以依汽车的运行状态反推驾驶员的操作行为从而判断其操作违法与否；而有条件自动驾驶汽车和高度自动驾驶汽车运行时驾驶员仅间或操作，大部分行程由自动驾驶汽车自行完成，故而自动驾驶汽车的运行状态并不能反映驾驶员的操作行为，此时由受害一方对驾驶员的违法操作行为进行举证就极为困难同时也有失公允。此问题或许可以考虑以举证责任分担及自动驾驶汽车的内在技术装置要求比如安装内部监控和驾驶员操作记录仪来解决。具体而言，发生事故时，受害一方仅需对自动驾驶汽车存在违法行驶状况进行举证而不必具体到驾驶员的不当操作，而驾驶员则需证明自己参与驾驶任务的过程中并无过失且已充分尽到注意义务方可使自己免于为自动驾驶汽车自身的产品缺陷或失控事故担责。

（二）自动驾驶汽车的产品缺陷致人损害的归责方式

自动驾驶车辆的主要功能和市场价值就在于自治行驶，因而其应该在自动驾驶模式下不论对乘客还是对其行驶道路上的其他主体均要保障基本的行驶安全，尤其是对于不存在辅助操控驾驶员的完全自动驾驶汽车而言，原本由传统车辆驾驶员承担的基本注意义务就会转化为产品责任。“产品责任是指产品生产者、销售者因生产、销售缺陷产品致使他人遭受人身伤害、财产损失或者有致使他人遭受人身伤害、财产损失之虞而应承担的赔偿损失、消除危险、停止侵害等责任的特殊侵权责任。”而产品缺陷，是指产品存在危及人身和产品之外其他财产安全的不合理危险，包括制造缺陷、设计缺陷、警示缺陷、跟踪观察缺陷等。因而在设计、生产、销售、运行的不同阶段，自动驾驶汽车的设计者、生产者、销售者都要克尽谨慎的注意义务，保证各自的环节免于缺陷。

1.设计者责任

设计者需要保证其设计的自动驾驶汽车不存在不合理危险，即能够在可预测的所有情境之下都能够保持安全行驶，比如必须具备包括但不限于：“限速信息识别及响应、跟车行驶(包括停车和起步)、车辆碰撞自动紧急制动、前方车辆变更车道检测及响应、障碍检测及响应、并道行驶、超车、靠路边停车、交通信号灯识别及响应、行人和非机动车识别及避让、交叉路口通行、环形路口通行、道路弱势群体碰撞自动紧急制动、车道保持控制、探测并避让对向来车、停车场通行、网联通信、碰撞前的数据捕获等功能。”然而问题的关键主要在于：相较于制造缺陷，设计缺陷在实践中往往很难认定。因为制造缺陷通常可依是否符合设计方案来判定，而设计缺陷则是指设计方案本身欠缺某些科学合理的考虑，其没有可供参照的评判标准。而我国《产品质量法》仅对产品缺陷进行了笼统的界定，即以存在不合理的危险以及不符合国家标准、行业标准来认定产品缺陷，这对设计缺陷的认定几乎不具可操作性，因为国家标准、行业标准往往是针对制造环节的，且通常以设计方案为参考。此外，与制造缺陷主要关注产品自身性能相比,设计缺陷需要结合多种因素综合判断，比如自动驾驶技术的社会效益和成本,替代设计的技术可得性及其成本等。

需要注意的是，在归责原则方面，设计缺陷与制造缺陷不同，不宜适用无过错责任。首先，设计者的程序设计往往以其设计当时的科技水平和应用环境为基础，而科技水平与应用环境总是不断地变化发展的，从上帝视角要求存在于有限时间和空间的设计者，对其依据既有最新科技水平得出的设计方案承担其所不能预知的风险和责任，显然是不合理和不公平的；其次，如若对设计者苛以严格责任，就意味着即便其于设计当时已经穷尽了最新的技术水平和专业知识但仍需要为其注意义务和能力范围之外的风险负责，从而促使其以牺牲产品效用为代价来避免任何可能的风险即便这种风险相对于效用而言只是细微的，这种做法的宏观效应就是可能阻碍技术创新和产业进步，从而违背了立法的初衷。笔者认为，对设计者的设计责任应当采用过失责任原则，而对其过失的判断可采用“风险——效用”标准，即设计者“修改设计以消除危险”的边际收益大于边际成本,那么修改设计以消除危险就是一个谨慎合理的设计者所应当做的，若其未采取这种理应修改的设计方法就是有过错的，应当对其设计缺陷承担责任。否则，其设计就应该被认为没有缺陷，设计者无需担责。当然，关于设计缺陷的认定并非法律所能单独解决的问题，还需相关专业人群从技术层面展开细致的商讨和确定。

此外，自动驾驶汽车作为具有一定自主决策和行为能力的智能机器人,其驾驶行为基于算法而产生。算法的内部设计和形成逻辑决定了自动驾驶汽车决策过程及最终的外部行为，然而算法在设计之初就融入了设计者的技术考量、行为模式和价值伦理选择，且算法自动化决策存在着信息茧房、引发隐私泄露、算法歧视等风险，这就意味着对算法的规制便成为必要。那么如何对自动驾驶汽车的自动化决策系统———算法进行规制呢？在现有的学术研究成果中，公开源代码增强算法透明和增设算法解释权成为众多国内外政策制定者和学者所提倡的主要监管思路。然而，公开源代码似乎并不能有效解决算法规制难题，即便算法透明可知，也并不意味着算法问题能够被发现，因为在算法生成后的运行过程中，就算是设计者也难以保证能够预测到算法在与其具体运行情景进行交互的过程中会产生何种结果。此外，公开源代码还与个人隐私、商业秘密、专利保护等问题存在潜在冲突。而增设算法解释权方案也面临着诸多问题，比如算法模型所采用的高度复杂和精密的运算方式难以用一般的语言表达方式阐明，也就是说欠缺可解释性。退一步讲，即便算法可以准确解释，但受害者作为非专业人士也很难理解，而若委托专业人士代为解读则增加了受害人的成本负担。故此，公开源代码增强算法透明和增设算法解释权两种方案均难以切实有效地规制算法风险。笔者认为，可以考虑在设计算法时通过法律强制或者行业标准等方式将特定的政策和价值标准嵌入设计者的编程，以代码规制代码，例如拟定人工智能设计的伦理准则、算法治理原则等等，比如阿西莫夫就提出了著名的“机器人三大定律”。该等准则、原则的确定需要计算机科学家、伦理学家、法学家等各界学者的协同努力，鉴于自身研究能力及专业领域十分有限，笔者对此不加妄议。

2.生产者与销售者责任

与普通汽车无异，当由于自动驾驶汽车的制造缺陷、设计缺陷、警示说明缺陷等导致他人人身或财产损害时，生产者和销售者应承担产品责任。其中制造缺陷是指制造终端产品的原材料或零部件存在问题或者装配过程中存在操作失误。当然，在实践中原材料或零部件的缺陷可能并非由生产者或销售者所致，也可能是运输者、仓储者、零部件提供者、原材料提供者在相应环节存在问题，但由于产品责任系严格责任追责时不问过错，所以生产者和销售者仍要承担责任，只不过其现行赔付后可以向其他最终责任人追偿。且生产者与销售者之间为不真正连带责任，受害者可以就近选择任一方承担全部赔偿责任而对方不能拒绝。

需要注意的是，智能产品的特殊性往往意味着其原材料比较特殊、零部件比较精细且各部件之间的相互影响较大，因而为了便于追责，其材料和零部件须做好标识且每个环节做好检验检测记录。此外，智能产品自治运行的特质也对生产者、销售者的警示说明义务提出了更高要求。以自动驾驶汽车为例，生产者必须标明其正确的操作方式以及紧急情况的应对措施，此外，由于自动驾驶汽车不可能一次性取代市场上的普通汽车，即二者可能在很长一段时间内会共用公共交通，为了普通汽车驾驶及乘车人员的安全，自动驾驶汽车必须以明确的标识标明其性质以提示其他普通车辆。

通过上述分析可知，智能机器人因产品缺陷致人损害的情形基本可以由我国现行《侵权责任法》《产品质量法》及《消费者权益保护法》来调整，但普通产品的主要区别在于关于设计者责任我国相关法律基本空白尤其是在设计缺陷的认定方面缺乏可操作的具体规则和标准。且当智能机器人因产品缺陷致人损害时其具体缺陷所在环节很难辨认，这就意味着：与普通产品相比，智能机器人致人损害时设计者、生产者、销售者、操作者之间的责任划分比较困难，而这本质上需要依赖技术手段，而非法律能够单独解决的。但随着责任主体的扩大，法律也需要作出适时的调整。

（三）自动驾驶汽车的“自主行为”致损的归责方式

机器学习算法是人工智能的重要技术基础之一。机器学习就是让机器能够像人一样具备从周围的事物中学习并利用学到的知识进行推理和联想的能力。通过机器学习，智能机器人可以通过自组织、自适应、自学习从周围的环境中攫取数据、捕捉信息、总结规律从而生成新的规则并依照该规则进行自我调整和适应，进而使其行为和决策偏离预期，而即便是最专业的设计者对智能机器人投入使用后所接触的数据也是无法统计的，更难以预知和控制其依据自主学习生成的新规则所能作出的决策和行为。换言之，智能机器人完全可能存在其自主“意识”作用下的致损风险，而这种风险由于是设计者、生产者、销售者乃至操作者所无法预料和防控的因而不能列入其注意义务的范畴，如果强行让其担责，无疑会阻碍技术创新和产业发展。那么此种致损类型将如何归责呢？

首先，笔者并不赞成参照雇主责任、动物致损责任或者监护人责任等用替代责任解决此问题。第一，通过上文分析，设计者、生产者、销售者尚因人工智能“自主行为”致人损害的不可预料和难以控制性而不能成为归责主体，那么让无论在技术知识还是担责能力上相对于设计者、生产者、销售者等主体均往往处于弱势地位的所有者对智能机器人的失控行为承担替代责任显然不合情理。第二，人工智能自主侵权与雇主责任、动物致损责任和监护人责任在构成上存在本质区别：雇主责任中的直接侵权人雇员是具有人格的人而人工智能没有从而也无法区分职务行为或者非职务行为；监护人责任亦如此，因为被监护人也是具有生命和人格的人；也就是说雇主责任与监护责任均以相关主体间的人身关系为潜在的前提，而人工智能难以满足此要求除非赋予其法律人格。至于动物致损，自然人对动物的管控能力和对人工智能的管控能力是难以类比的，将二者适用同种归责方式难免牵强。

那么，赋予人工智能以法律人格是一条可行的路径吗？笔者将从当前我国人工智能的发展阶段、智能机器人的应用范围、我国现行法体系等方面进行分析。

就目前人工智能的发展阶段而言，“我们正处于弱人工智能向人工智能的过渡阶段。”此阶段的人工智能仍作为人类生产和生活的助手而存在，通常仅能代替人类完成某一方面的单一技能，且多在人的操作下进行，并不会高频率甚至大范围地出现完全脱离人控制的“自主行为”。其次，从我国人工智能的实际应用来看，人工智能的研究多处于基础层和链接层，应用层虽在图像识别、自动驾驶、医疗影像智能金融等方面有所突破，但基本还处于较低程度的人机协作阶段且并未大范围普及。以自动驾驶汽车为例，我国低端车型销售比例较大，辅助驾驶技术的渗透率仅为3%左右，且所谓的自动驾驶尚无法实现完全的无人驾驶。因而人工智能失控致人损害的概率较小。从现行法律体系来看，赋予人工智能以法律人格，将会颠覆我国民法人物二分法的体例，从而对整个民法规范产生牵一发而动全身的后果。最重要的是，值此人工智能技术发展尚不成熟、顶层设计基本缺位，技术鉴定、监管办法、保险制度等配套机制仍然空白的情况下，贸然赋予人工智能以法律人格无疑会沦为空中楼阁，虚有其表却不能发挥实际效用。虽然欧盟立法建议提出智能机器人应当取得独立人格，但也未说明具体的承担责任方式，且欧盟人工智能的发展和应用程度有异于我国。需要说明的是，笔者并非否定和排除了未来人工智能发展到一定程度通过法律拟制给予人工智能以独立人格的可能性，因为参照公司法人人格独立制度来看，独立人格并不以具有和自然人一样的天然生命为前提。至于意志能力，人工智能之所以称为“智能”就是因为其具有一定的思考和感知能力，而这种能力会随着技术的发展愈加强大。至于独立财产，亦可以像公司制度一样通过制度设计来实现。总而言之，不能赋予人工智能以独立人格的主要障碍不在于法律本身而在于其自身的发展及应用程度和社会的现实需求。至少在包括目前在内的很长一段时间内，这是没有现实意义的。

人工智能的“自主行为”致人损害的赔偿问题可以通过强制责任保险制度来解决，但其保险当事人、责任限额等内部具体机制应当有异于机动车交通事故责任强制保险。首先，人工智能强制保险应由生产者而非所有者作为保险费支付义务人，其一是因为生产者的负担能力和风险防御能力比较强，其二是因为生产者可以以价格调整的方式将保险成本进行分化，此外还可以以此作为一种倒逼机制促使生产者及时履行跟踪观察义务并及时进行系统的调整与升级。就具体的运行模式而言，当生产商想要从事人工智能产品的生产经营活动时，购买责任保险是其获得生产许可的前置条件。至于保险费率，不同的人工智能产品可能导致的风险不同，比如医疗机器人的产品责任事故风险通常高于普通工业制造机器人，其保险费率就相对较高。其次，保险费率还受被保险人的信誉记录等因素的影响，至于最终需要市场机制下保险人与被保险人的博弈来确定。但对保险责任限额必须进行一定规制，因为这直接关系到对受害人赔付标准，具体而言以能够满足大部分受害人的基本赔偿请求为前提同时不影响保险公司的正常经营，这需要运用统计学和精算学进行科学确定。此外，应该严格限定免责条款，以防保险人以降低赔付风险为目的肆意添加免责条款从而限制被保险人的保险金赔付请求权。要言之，通过强制责任保险制度能够将人工智能致人损害的风险负担进行社会分化，从而达到人工智能自主行为致人损害时既不至于使受害人无从索赔，又能够很好地平衡设计者、生产者、销售者及使用者等主体间的义务和责任的良好效果。

总之，人工智能致人损害的法律责任，并不能单一地由一般过错侵权责任、产品责任或者替代来解决，必须根据不同的致损原因即操作人过失还是产品缺陷抑或是人工智能的自主行为而适用不同的归责方式。

三、责任落实之配套机制

通过上文分析可知，除了设计缺陷致损及自主行为致损两种特殊情形外，我国现行侵权法体系基本可以调整人工智能致人损害的大部分情形。换言之，对于人工智能致人损害的规制，关键问题不在于法律规范的缺位，而在于事故原因鉴定、产品缺陷标准、审批及监管等配套机制不完善。对此，笔者认为可以考虑以下思路。

成立人工智能发展委员会，且委员会应由法律人、人工智能相关技术研究人员、人工智能产品研发制造企业等主体多元构成。人工智能的技术复杂性和专业性要求立法、司法乃至执法人员具有更高的综合素质。不论是设计环节中设计缺陷的认定，还是生产环节制造缺陷的认定，抑或是具体事故原因的认定均非普通的法律职业者所能完成的。换言之，对于人工智能致人损害的法律责任的设计和落实，需要法律与算法的融合，也即法律人与人工智能技术人员的合作。而多元构成的人工智能发展委员会无疑将为此提供一个平台。另外，其也会对相关标准的制定创造条件。其在他国也不无先例，美国白宫科技政策办公室副主任迈克尔·克拉希欧斯（MichaelKratsios）于2018年5月10日即宣布将组建人工智能特别委员会。

建立健全人工智能产品授权审批及登记备案制度。人工智能产品具有极强的精密性和专业性，“在人工智能的代码编写和算法建模中，更容易看到一些微小的疏漏以让人无法预料的序列连续发生，就有可能变成更大的、更具有破坏性的大事故”。故而对人工智能的程序编码及构造进行审批和登记不仅能够发挥事前预防把关的功能，还可以为事后追责奠定基础。当然，此种审批和登记与普通的行政许可与登记不同，需由专业技术人员来完成。

成立专门的监管及事故责任认定机构。人工智能是一个科技黑箱，人工智能的研发具有秘密性、分散性、不连续性及不透明性。非专业技术人士根本无法对其进行解释，更无从对人工智能致人损害时的事故原因进行鉴别认定，普通的被侵权人更无从举证。这就需要由对人工智能的伦理价值、算法逻辑等领域有着清晰理解的专业团队来完成这些工作。

相应的配套机制是不可能列举穷尽的，笔者在此只是做一个启发式的思考，而具体的体系构建仍需随着人工智能的发展情况进行调整和补充，而此条道路可谓任重而道远。结语针对人工智能致人损害这一问题，现行侵权法体系不可否认地为该类纠纷中部分情形提供了解决途径，但也主要集中在人工智能的产品缺陷致损这一情形中，但其中关于设计者的责任仍需要进一步明确。此外，随着AI技术的不断进步与深入应用，人工智能脱离控制的自主侵权行为将不断涌现，此时我们便不得不意识到现行侵权法体系在这一问题上的缺位。当然，这不意味着必须对现有法律体系进行重建式的变动，而是在现有基础上辅以相应的配套机制以及调整式的补充即可，以达到既维护法的安定性又不阻碍创新的良好效果。

上海市法学会欢迎您的投稿

fxhgzh@vip.163.com

新一代人工智能的发展与展望 人工智能可能性的双重参照