中国社会科学杂志社
当前，人工智能被深度应用于社会的各个领域，推动了社会生产效率的整体提升。然而，作为一种具有开放性、颠覆性但又远未成熟的技术，人工智能在带来高效生产与便利生活的同时，不可避免地对现有伦理关系与社会结构造成冲击，且已引发不少伦理冲突与法律问题。在技术快速更新的时代，如何准确把握时代变迁的特质，深刻反思人工智能引发的伦理风险，提出具有针对性、前瞻性的应对策略，是摆在我们面前的重大时代课题。
技术伦理风险
技术是一把双刃剑，其在推动社会进步的同时，也在很大程度上带来了技术风险。人工智能技术也是如此。现阶段，人工智能的技术伦理风险主要体现在以下三个方面。
人工智能的设计风险。设计是人工智能的逻辑起点，设计者的主体价值通过设计被嵌入人工智能的底层逻辑之中。倘若人工智能设计者在设计之初，秉持错误的价值观或将相互冲突的道德准则嵌入人工智能之中，那么在实际运行的过程中便很有可能对使用者生命、财产安全等带来威胁。
人工智能的算法风险。算法是人工智能的核心要素，具备深度学习特性的人工智能算法能够在运行过程中自主调整操作参数和规则，形成“算法黑箱”，使决策过程不透明或难以解释，从而影响公民的知情权及监督权，造成传统监管的失效。人工智能算法可能在不易察觉或证明的情况下，利用算法歧视或算法合谋侵害消费者的正当权益，进而扰乱市场经济秩序和造成不公平竞争。近年来被广泛曝光的“大数据杀熟”，正是这一风险的具体体现。
人工智能的数据安全风险。隐私权是人的一项基本权利，隐私的保护是现代文明的重要体现。但在众多的人工智能应用中，海量的个人数据被采集、挖掘、利用，尤其是涉及个人生物体征、健康、家庭、出行等的敏感信息。公民的隐私保护面临巨大挑战，人工智能所引发的隐私泄露风险已被推到风口浪尖。而不少隐私泄露事件的发生，也在一定程度上加深了公众对人工智能广泛应用的担忧。隐私保护与人工智能的协调发展，已成为当前亟待解决的问题。
社会伦理挑战
人工智能不仅有着潜在的、不可忽视的技术伦理风险，伴随数字化的飞速发展，人工智能对现有社会结构及价值观念的冲击亦愈发明显。人类社会的基本价值，如尊严、公平、正义等，也正因此面临挑战。
人工智能的发展对人类道德主体性的挑战。2017年智能机器人索菲亚被授予沙特阿拉伯王国公民身份，这引发了许多人对人工智能挑战人类主体性的担忧。通常人被认为是唯一的道德主体，人的道德主体性的依据在于人的某些精神特点（如意识、思维）。当前，人工智能虽仍处于弱人工智能阶段，还无法形成自我意识，但是，智能机器人不仅在储存、传输、计算等多方面的能力超越了人脑，而且借助材料学等现代技术，智能机器人可能在外形上“比人更像人”，甚至拥有更丰富的情感（比如索菲亚能够模拟62种面部表情）。这样的智能机器人究竟是否是“人”？是否应确立为道德主体？如果赋予人工智能主体资格，那么其究竟是一种与人类对等的主体，还是一种被限制的主体？这些问题表明：人工智能对人类道德主体性的挑战，不只是电影小说中的浪漫想象，而是已日益成为一种现实风险。
人工智能的发展对社会整体公平正义的挑战。首先，人工智能的发展可能加剧社会的贫富差距。由于年龄、所在地区、从事行业、教育水平等的差异，人们接触人工智能的机会并不均等，实际使用人工智能的能力并不相同，这就造成了“数字鸿沟”现象。“数字鸿沟”与既有的城乡差别、工农差别、脑体差别等叠加在一起，进一步扩大了贫富差距，影响了社会发展的公平性。其次，人工智能的发展可能引发结构性失业大潮。由于智能机器相较于人类工人有着稳定、高效等优势，越来越多的人类工人正在被智能机器所取代，成为赫拉利（YuvalNoahHarari）在《未来简史》中所谓的“无用阶级”。麦肯锡全球研究所的研究数据显示，到2030年，全球将有8亿人因工作流程的智能化、自动化而失去工作。虽然人工智能的发展也会带来新的工作岗位，但是由于“数字鸿沟”的存在，不少人并不能找到新的工作，结构性失业大潮可能汹涌而至。这将成为激化社会矛盾、破坏社会稳定、挑战社会公平正义的又一重大潜在风险。
应对防范策略
技术伦理风险与社会伦理挑战的图景展示表明，人工智能“安全、可靠、可控”的良性发展依然任重道远。对于人工智能风险、挑战的应对防范，事关未来社会的发展方向与人类整体的前途命运，需要我们运用哲学的反思、批判，作出审慎恰当的抉择。
确立人工智能发展的基本价值原则。面对风险、挑战，我们应当避免马尔库塞（HerbertMarcuse）所说的“技术拜物教”倾向，要将伦理、道德等价值要素纳入到人工智能发展的内在考量之中，尽快构建起具有广泛共识的人工智能伦理体系。应确立如下基本价值原则，作为建构人工智能伦理体系的“阿基米德支点”。一是人本原则。人工智能始终是“属人”的造物，是为增进人类的福祉和利益而被创造出来的。无论人工智能有多么接近“图灵奇点”，也不应改变其属人性。人本原则是人工智能研发、应用的最高价值原则。二是公正原则。人工智能的发展要以绝大多数人的根本利益为归趋，不能片面地遵循“资本的逻辑”与“技术的逻辑”，坐视“数字鸿沟”的扩大，而应当让每一个人都拥有平等接触、使用人工智能的机会，从而使绝大多数人都能从人工智能的发展与应用中受益。三是责任原则。明晰道德责任，对于防范和治理人工智能伦理风险具有重要意义。要加强人工智能设计、研发、应用和维护等各个环节的责任伦理建设，尤其要注意设计者、开发者的道义责任感培养，明确各方主体的权利、义务和责任，建立健全完备、有效的人工智能事故追究问责机制。
建立人工智能发展的具体伦理规范。在确立人工智能伦理基本原则的同时，还需要制定人工智能产品设计者、开发者及使用者的具体伦理规范与行为守则，从源头到下游进行规范与引导。针对人工智能的重点领域，要研究具体细化的伦理准则，形成具有可操作性的规范和建议。应当加强教育宣传，推动人工智能伦理规范共识的形成。进一步，可以将取得广泛共识的伦理规范嵌入于算法之中，避免人工智能运行过程中的“算法歧视”与“算法欺诈”问题。此外，要充分发挥伦理审查委员会及其相关组织的作用，持续修订完善《新一代人工智能伦理规范》，定期针对新业态、新应用评估伦理风险，促进人工智能伦理规范的与时俱进。
健全人工智能发展的制度保障体系。在社会层面，应加大对“数字弱势群体”的政策帮扶，如税收减免、财政补贴等，确保人工智能发展的共同富裕方向。面对可能到来的结构性失业问题，可以为劳动者提供持续的终身教育和职业培训。在法律层面，应积极推动《个人信息保护法》《数据安全法》的有效实施，建立对人工智能技术滥用与欺诈的处罚细则，逐步加快《人工智能法》的立法进程。在行业层面，应加强人工智能行业自律体系建设。建立并充分发挥伦理委员会的审议、监督作用，加强国际合作，推动人工智能行业发展朝着“安全、可靠、可控”的方向健康发展。
（作者单位：南京大学哲学系）
李麒｜人工智能伦理规范的初步探讨
原创李麒上海市法学会东方法学收录于话题#上海法学研究379个#核心期刊591个#法学647个#原创首发739个
李麒
北京理工大学珠海学院民商法学院教授
要目
一、前言
二、伦理规范的理论基础
三、人工智能的伦理规范
四、建立伦理监督委员会
结论与建议
2019年5月25日北京智源人工智能研究院联合北京大学、清华大学、中国科学院自动化研究所、中国科学院计算技术研究所等单位，共同发布《人工智能北京共识》，提出人工智能的研发、使用、治理应该遵循有益于人类命运共同体建构和社会发展的15条原则。
一、前言
人工智能研发应符合伦理的设计方法，尽可能公正，减少系统歧视与偏见，提高系统透明性，增加系统可解释度、可预测性，使系统可追溯、可核查、可问责等。2019年7月，中国国家新一代人工智能管理委员会发布《新一代人工智能管理原则》，提出尊重人的隐私、尊严、自治和重视权利，不应使用人工智能伤害人类。另一方面，人工智能的伦理价值在美国也有广泛的讨论，大型科技公司提出人工智能伙伴关系等概念。2017年谷歌公司放弃与美国国防部续约，原因是美国国防部要求该公司将先进的人工智能技术应用于军事用途。1983年成立的计算机专业人员社会责任组织（ComputerProfessionalforSocialResponsibility,CPSR）及联合国人权观察组织都主张禁止全自动武器的条约，例如自主选择轰炸目标的无人机等。人工智能伦理问题向来受到各界广泛关注，包括联合国发布的《关于机器人伦理的研究报告》、国际标准化组织IEEE发布的《合理伦理设计：利用人工智能和自主系统最大化人类福祉的愿景》；由Hawking、ElonMusk等人推动的人工智能23条准则（或称阿西洛马人工智能原则）；英国剑桥的存在风险研究中心（CSER）、牛津的人类未来研究所（FHI）、美国波士顿的未来生命研究院（FutureofLifeInstitute）。美国麻省理工学院媒体实验室（MITMediaLab）与哈佛大学伯克曼·克莱因互联网与社会研究中心（BerkmanKleinCenterforInternet＆Society）合作推出的耗资2700万美元的AI伦理研究计划；加拿大蒙特利尔大学人工智能伦理小组发布的《负责地发展人工智能的蒙特利尔宣言》；等等。现代社会技术和法律时常处于紧张状态，虽然技术促进新的发明，但法律则趋向保守，基于社会道德或人类恐惧而禁止克隆就是一个例证。有人认为超级智能的发展，会因其优越性而超越人类，进而夺取道德评价的话语权，使人类失去道德尊严的主动权。这虽是对新兴科技发展的普遍忧虑，但法律不应成为科技创新的阻碍，因此2017年7月8日国务院制定《新一代人工智能发展规划》，提出制定促进人工智能发展的法律法规和伦理规范。工信部出台《促进新一代人工智能产业发展三年行动计划（2018—2020）》，教育部出台《高等学校人工智能创新行动计划》，中央全面深化改革委员会第七次会议审议通过《关于促进人工智能和实体经济深度融合的指导意见》。2020年7月27日，国家标准化管理委员会、中央网信办、国家发改委、科技部、工业和信息化部等五部委印发《国家新一代人工智能标准体系建设指南》，要求到2021年，明确人工智能标准化顶层设计，完成安全、伦理等重点标准的预研工作，2023年初步建立人工智能标准体系。上述文件均显示人工智能伦理发展受到高度重视。
以自动驾驶车辆的伦理规范设定为例，若以符合全体社会成员最大利益为原则，则会采取强制的伦理设定（mandatoryethicssetting，简称MES），而排除让每一个司机或乘客都选择个人化的伦理设定（personalethicssetting，简称PES），由于自动车驾驶涉及公共利益，片面尊重工具使用者的自主权，基于人类自利的本质，很可能导致公共安全与道德的双重危险，基于社会共同体的责任与价值利益考虑，强制伦理设定是比较妥适的作法。但是在具体设定算法时，如何避免算法偏见和歧视？若以功利主义为算法基础，为了拯救多数人，仅载有一名乘客的车辆有很大几率会成为事故撞击的目标；若采取最小化伤害原则的道德算法，德国制的自动驾驶车辆是否可能选择日本车为撞击对象，因为一般而言，日本车的防护钢板较薄弱，如何决定类似的伦理规范显然值得讨论。
二、伦理规范的理论基础
2018年世界人工智能大会发布的“上海倡议”提出建立与人工智能创新发展相适应的立法规范、法律体系、政策体系和伦理体系，制定技术设定阶段的法律规范，通过规则设定促进人工智能算法的公正、透明、安全，避免算法歧视，2019年中国国家新一代人工智能治理专业委员会发布《新一代人工智能治理原则—发展负责任的人工智能》特别强调此理念。人工智能的伦理规范非常重要，主要包括为智能机器人预设道德准则、设定人工智能技术研发及应用标准，建立人工智能产品本身的道德指引，以及规制科研人员的伦理规范。科学技术要解决的是“能不能”的实然问题，伦理学要解决的是“该不该”的应然问题，人工智能不仅是单纯的技术问题，也是哲学问题。以下提出几种典型案例的思考方式，部分案例来自1985年美国教授JJ.Thomson提出的电车难题（TheTrolleyProblem）：
典型案例：
案例1：电车难题
假设某辆电车沿着既定路线前行，电车突然发生故障而无法操控，如果电车继续前行会碾毙在既定路线上工作的五位作业员，此时刚好有一位作业员A站立于轨道分转器旁边，目击了现场状况，A如果使用轨道分转器切换路线，可以让电车转入另一条轨道而拯救五位作业员的性命，然而在切换后的轨道上有一位作业员B正在工作，轨道切换后电车会将B碾毙，试问A是否应该作出转换轨道的决定。不选择转换轨道将导致五位作业员死亡，选择转换轨道会导致作业员B死亡，A如果选择后者，法律上是否可以主张紧急避险。
案例2：陆桥上的胖子
突然失去控制的电车持续前行，如果继续前行会碾毙在既定路线上工作的五位作业员，A与完全不知情的C正好走在陆桥上，C体型非常肥胖，如果A突然将C推落桥下，以C作为障碍物则刚好可以让电车停止（题目设定为牺牲C一定会使电车停止），因而救助五位作业员的性命。A是否应该推C下桥？
案例3：自动驾驶车辆的情况
在深不可测的溪谷上有一条非常狭窄细长的陆桥（只能单线双向通行），A搭乘自动驾驶车辆（A并未操作车辆）正在桥上行进，对向开来一辆大巴士（有乘客40人），大巴司机突然失去意识导致该车越过车道线，直接冲向搭乘A的自动驾驶车辆，此时如果A的车辆加速前进稍微擦撞大巴车的侧边，可以保护A的安全，但是大巴车会掉落山谷，车上40人均会死亡；如果A的车辆不加速，直接与大巴士正面相撞，则A死亡，大巴士不会掉落山谷，车上乘客均会获救，A所搭乘的自动驾驶车辆应该加速，还是不应该加速？
案例4：社会评价体系下的自动驾驶车辆
甲为大学教授，具有名校毕业的博士学位，认真工作，乐善好施、义务担任社会服务工作，服务人群曾受政府表扬，人工智能系统赋予的社会评价分数为95分；乙未接受良好教育，无业而四处游荡，曾因盗窃罪在监狱服刑，人工智能系统给予的社会评价分数是20分，某日乙不遵守十字路口交通标志，违规闯红灯穿越马路，甲所搭乘的自动驾驶汽车正准备通过该路口，此时因不明原因汽车刹车失灵，汽车正迅速向乙接近，人工智能系统立即作出判断，无论直接撞击乙或右转撞击路树都可以使车停下来，此时人工智能作出何种选择会符合正义的要求？
伦理规范的哲学理论与案例思考
伦理规范是划定个人行为与社会组织界限的一种方法，西方社会有两种主要的道德理论，一是边沁的功利主义理论，利益最大化作为道德标准，在以效用主义为基础的博弈论在人工智能中经常被用于理解个体与群体的相互作用，为算法的伦理分析提供基础。二是康德的义务道德论，道德动机是人类行为的准则，理性且具有自由意志的人是道德主体，能作出最终决策，人本身就是目的，任何人都不能将他人作为工具，或达成特定目的的方法或手段。问题在于此种绝对律令的观点，如何转换为人工智能的正确规则。温德尔·瓦拉赫、科林·艾伦认为机器人可以根据人类的普遍道德法则作出是非判断，具有理性能力。康德认为自主性是人类自我意识的根本条件，如果机器人可以超越人类控制，这种自主技术性的概念会令人感到不安，因为赋予人工智能自主性，代表人的自主性被替代，主客体的地位将发生变化。可能的解决方法是在人工智能设计之始，将一些伦理规则作为绝对律令，以代码的方式写入人工智能的程序中，例如机器绝对不能攻击人类，特别是老弱妇孺，植入规范性伦理程序就是康德道德律令的代表。
人工智能道德伦理的责任议题，包括人权伦理、责任伦理、道德地位伦理、代际理论、环境理论以及大数据伦理与隐私，以联合国宣言为基础，有人认为应将人类责任与机器人责任伦理的标准同等对待，主要包括正义与团结、相互尊重与合作、信任与容忍、基本人性准则等。建立在亚里士多德道德观念上的人工智能道德理念，是自下而上的理论体系，机器可以自主学习，而具有类似神经网络链接机制的机器人就有可能具备道德判断能力。
如果采取边沁的功利主义，应当追求“最大多数人的最大幸福”，案例1及案例2都会作出拯救5人的生命利益大于牺牲1人的生命利益的决定。案例3自动驾驶车辆不加速与大巴士直接相撞，才能拯救车上40位乘客的生命，A的生存机会势必被选择放弃，人工智能设计师必须预先设定“牺牲自驾车乘客”的程序模式，在这种情况下，是否还有人选择使用自动驾驶车辆？如果采取康德的道义责任论，无论在任何情况下，人的生命都不可以因为特定目的而被利用，则案例1及案例2都会作出不救助5个作业员的决定，因为生命的价值没有数量或高低的区别。在案例3的情况由于生命价值相等，自动车加速与否都会造成生命损失，程序设计师是否应该优先考虑使用者的安全，保护使用者（消费者）安全是否为产品制造或设计者的法律义务？
其次，针对案例4，若采取功利主义，AI的设计者应该会选择让汽车直接撞击乙，因为甲的社会评价分数90分远高于乙的20分；如果采取康德的道义责任论，人始终是目的，而不能成为达成特定目的的方法或手段，所以不能把人单纯当作客体对待，由于每一个人的生命价值相同，AI的设计者应当会让汽车右转撞树而导致甲死亡或受伤。由上可知，AI对于甲、乙生死的决定取决于工程师对于算法的设计。无论AI选择直接撞击或转向都会导致对人工智能数理逻辑算法的疑虑，直接撞击会造成阶级对立，加剧社会精英与普通民众的紧张关系；转向则会使无人驾驶汽车失去用户，因为每一次驾驶都类似俄罗斯赌盘，搭乘者可能会因突发事件而被牺牲，个人没有过错却必须成为被选择牺牲的对象。
案例3及案例4的自动驾驶车辆程序设计者必须面对一项难题，应当对人工智能输入何种价值选择标准，在更复杂的情形下，例如一方车辆的乘客只有5年的余命，另一方乘客有20年的余命，哪一辆车的安全应当优先考虑（事实设定为两辆车可以自动交换乘客信息）？又如果两车乘客的余命完全相同时，一方是高额纳税人，另一方是欠税大户，自动驾驶车辆的程序参数（parameter）又应该如何设计？
另一种观点认为，根据哲学上的双重效果原则（Doctrineofdoubleeffect），行为人虽然应该对于自己意图决定所产生的损害结果负责，但即使发生损害且能预见结果的发生，若损害不是根据有害意图的行动所造成，就不应该追究行为人的责任（前提是此行为是人道的、或至少是道德中立的、或不会为自己带来直接利益）。案例1中A转动换轨器时虽然预见B的死亡，但A的意图是为了拯救5个作业员的生命，因此B的死亡只是附随发生的结果；案例2中A的直接意图是将C推落桥下，C的死亡附随产生救助5名作业员的结果，根据双重效果原则，案例1可以被正当化，但案例2则不能被正当化。
人工智能的伦理规范必须保留人类的基本价值观。一般而言，人工智能采取的是工具理性表现方式，人类行为则具有价值理性的思维，将此种价值理性转化为精确的算法设计十分困难，而且不同的文化习俗、宗教信仰、社会公德自有不同的价值判断标准，人工智能面对价值体系如何选定价值体系，其本身虽是一个难点，但是在算法中嵌入公平、正义、良善等价值观的追求应该是正确的方向。具体的方法是将人的道德理性融入算法程序，研发“道德代码”以明确人工智能的道德主体责任，道德代码指程序员除了按科学方式编码外，同时在代码中融入道德感情，使编码在执行程序时具有道德价值判断功能，亦即编码本身应具备道德功能。人工智能的道德属性源于人类自身的道德认识，这种道德属性需要专家的技术设计，所以健全程序设计者的伦理体系与道德观是根本的问题。
三、人工智能的伦理规范
域外的人工智能伦理规范
1.欧洲
欧洲议会的法务委员会（JURLCommittee）于2015年1月召开关于机器人与AI进化的法律问题工作会议，同时设立专责工作小组，该委员会于2017年1月提出“关于机器人民事法规则的欧洲委员会建议”报告，认为欧洲应该设置管理机器人与伦理规则的专责机构并建立适用于欧洲全境的管理规则，长期而言，未来对于自律型的机器人可以讨论赋予电子人格的可能性。本报告提出广泛受到重视的五项伦理原则，内容包括自由、隐私、人性尊严、自己决定权等，对于机器人运用所造成的影响实施评估；人们拒绝使用人工智能，但仍会因人工智能对生活产生实质影响时，应当对于人工智能决策的各种可能性，寻求理论依据；AI的算法必须能还原为人类可以理解的型态或方式；强人工智能的逻辑程序决定程序，必须全程予以记录备案，不能存有黑箱的现象，确保“透明性原则”的落实。同时在附录部分（Annex），提出对人工智能工程师的伦理行为准则（CodeofEthicalConductforRoboticsEngineers），这个准则属于建议、指导的性质，没有强制性，对于人工智能工程师的具体行动方针包括
（1）善行（Beneficence）：人工智能的行为必须符合人类利益。
（2）无害（Non-maleficence）：无论在任何情况下，机器人都不能伤害人类。
（3）自主性（Autonomy）：使用机器人所提供的人类信息，不能以强制方式取得，必须根据人类的自由意志作成决定。
（4）正义（Justice）：特别是居家治疗，使用照护式机器人时应当给予公正的利益分配。
2017年6月德国交通部伦理委员会公布《自动和联网驾驶》报告，提出自动车驾驶的20条伦理规则，其核心内容包括保护个人优先于其他一切功利主义的考虑；当危险情况不能避免时，保护人类生命优先于其他法律利益，为了避免人员伤亡，在编程上允许对给动物或者财产造成损害；道德困境下的决策依赖于现实的具体情况，无法清楚地给予明确标准；处于无法避免事故发生的境况下，禁止以年龄、性别、生理或心理状况等人身特征进行歧视性决策，不得牺牲无关的他人。2016年4月德国政府通过法律，将“驾驶员”定义扩大到能够完全控制车辆的自动人工智能系统，同时提高无人驾驶的保险费与赔偿费。
为了避免算法歧视，我们应当有合理的AI设计，可以将人类社会的法律、道德等规范和价值嵌入AI系统，根据国际标准化组织IEEE提议，首先是规范和价值的发现，确定AI系统应当遵守哪些规范，在价值相互冲突时又应该如何抉择；其次是法律或道德规范能否转换为计算器代码写入AI系统，采取方法是自上而下地将规则写入系统，要求人工智能遵守规则，还是自下而上由机器自我学习价值与伦理规则，目前尚无定论；最后是对人工智能采取的价值和规范进行评估，从三方面加以评估，包括使用者评估、主管部门评估和行业组织评估。
2.日本
日本政府于2016年5月30日设置“关于人工智能与人类社会恳谈会”，经过6次讨论，于2017年3月24日提出正式报告，该报告提出人工智能的伦理论点：（1）随着人工智能技术不断进步，人工智能技术机器与人类关系可能会逐渐产生变化，对于未来新关系所形成伦理观的内容应事先设想规划；（2）应用人工智能技术所产生的服务，在作成决策的评价标准与处理优先次序时，仍会受到人类心智或行动的控制，此类决策如果受某些特定的人类感情、情绪或信念的制约，就会令一般人产生不安全感，特别是在我们没有察觉，一切决定都受程序操控的状况下，伦理规范的讨论显得更为重要；（3）运用人工智能技术会扩展人类在时空或身体领域的范围，但是应该注意人工智能与人类能力与情感方面的相互作用，适度加以调适；（4）对于与人工智能技术有关的行为或创新价值，应给予适当评价，而这种价值观要考虑社会接受程度，尽可能的采取多元化的观点。2017年7月日本总务省情报通信研究所在《2017报告书—关于推动AI网络化国际议题的讨论》报告书中提出《AI发展纲领》，提出伦理原则的内容是“开发者应当尊重人性尊严与个人自主，在开发与人类脑部或身体相连的AI系统时，应注意有关生命伦理的争议，并予以特别慎重的考虑。开发者参照技术的特性在可能的范围内，应努力排除包含AI系统学习数据在内，所形成的一切偏见和其他不当差别对待的措施。开发者应遵守国际人权法、国际人道法，随时注意AI系统是否有不符合人类价值的行为”。
3.美国
2016年5月美国奥巴马政府在白宫召开AI所带来利益风险的工作会议，会议结论，提出《对未来人工智能的准备》（PreparingfortheFutureofArtificialIntelligence），该报告提出面对未来人工智能的23点事项，其中也涉及AI伦理问题，所有的事项都可以提供美国联邦政府及各界参考，第16点是“联邦政府机关应当考虑如何确保人工智能的有效性与公平性”，第17点强调人工智能系统透明性的重要性。第18点要求在各级学校的重要课程中，例如人工智能、机器学习、计算器与数据科学等的科目，在安全性与隐私方面设计出与伦理规范有关的主题。第23点提及对全自动或半自动武器的相关政策要符合国际人道法的规定。报告结论认为随着人工智能的持续进步，如何确保人工智能的透明性与说明可能性显得十分重要，人工智能的理解过程与人类理性的思维间如何取得平衡也应受到重视。
4.民间组织
（1）电器和电子工程师协会IEEE（TheInstituteofElectricalandElectronicsEngineers）
IEEE是总部设在美国的电器工学、电子工学技术的学会，该学会是世界最大的技术者研究团体。IEEE于2016年4月通过《伦理因素的自动化系统设定的全球化倡议》（TheGlobalInitiativeforEthicalConsiderationsintheDesignofAutonomousSystems），认为在谋求伦理、法律和社会目标一致性的前提下，确有必要对于AI系统的设计方法予以研究，因而提出此项计划。2016年12月接着公布第1版《伦理指引—以人类福为的优先人工智能与自动系统》（EthicallyAlignedDesign-AVisionforPrioritizingHumanWellbeingwithArtificialintelligenceandautonomousSystem,Vision1forPublicDiscussion），〔2018年2月整理了来自全世界包含美国、欧洲、中南美洲在内的官方与民间专家约250人的意见后，公布了该指引的第2版。该版本共263页，大致分为下列主题：（1）一般原则；（2）自律智能系统价值观的内容；（3）伦理研究和设计的导入方法；（4）一般人工智能(AGI)与超人工智能（ASI）的安全性；（5）取得与使用个人信息的限制；（6）自主兵器系统的再规制；（7）经济与人道的问题；（8）法律；（9）人工智能对人类感情与情绪的影响；（10）政策；（11）自主智能系统的古典理论；（12）信息通讯技术（ICT）的复合实现（MR）；（13）人类幸福（自主智能系统的应有目标）。作为总论部分的“一般原则”包括（1）如何确保AI不会侵害人权（2）就社会繁荣度的指标而言，AI可以带来人类的幸福？（3）如何确认AI设计者、制造者、所有者与运用者的责任？（4）如何确保AI的透明度？（5）如何获得利益最大、风险最小的AI技术。各论部分对于现有指引内容过于抽象提出检讨，对于指引内容尽可能的予以明确化，例如对于“自律智能系统价值观的内容”的主题，其价值观内容固然应当符合社会的期待，不能违反法律规定与现存文化，但就规范与价值观而言，每个人的举止行为、语言、文化、艺术品味等各有自己的主观判断，自主智能AI系统应当如何设定学习方式就成为难点。不同形式的自主智能系统应如何搭配特定的规范或价值观，事实上也难以决定。首先，只能从特定群体（community）着手，针对符合特定工作（task）的自主智能人工系统，尝试寻求出可以遵循的规范内容。对于“自主智能系统的古典理论”的主题，AI的开发的伦理议题，不能仅围绕着西方伦理（功利主义、义务论、道德伦理学等）讨论，对佛教、儒教、日本神道等其他领域也应当加以考虑。
（2）人工智能百年研究（OneHundredYearStudyonArtificialIntelligence）
该组织由斯坦福大学毕业生所创立，以今后100年AI长期发展为研究目标，判断人工智能对于社会有何种影响，每五年提出观察、分析报告的一项研究计划，其成果是2016年9月发表的《ArtificialIn-telligenceandLifein2030》研究报告，报告分为交通、居家服务机器人、健康照护、教育、低资源消耗共同体的实现、公共安全和保障、职场与雇用、娱乐等8个部分，从长期展望加以分析，特别是交通部分的自动驾驶汽车、无人机运用部分有较多的描述，在法政策方面则主要讨论隐私权、创新政策、民事责任、刑事责任、代理、资格、劳动、税、政治等问题。
（3）人工智能合作组织（PartnershiponArtificialIntelligencetoBenefitPeopleandSociety,Partner-shiponAI）
PartnershiponAI是2016年9月由Amazon、Google、DeepMind（Google）、Facebook、IBM、Microsoft等成员所设立，2017年Apple、OpenAI等新成员加入，日本Sony也希望加入，这是一个发展人工智能的世界企业联合组织。该组织提出主题支柱（ThematicPillars）重点有：①重视AI安全性（Safty-CriticalAI）；②公平、透明而具可说明能性的AI（Fair,Transparent,andAccountable）；③人们与AI系统的协调（Collab-orationBetweenPeopleandAISystems）；④AI、劳动与经济（AILaborandtheEconomy）；⑤AI社会的影响（SocialandSocietalInfluencesofAI）；⑥AI和社会利益（AIandSocialGood）；⑦特别提议（SpecialInitiatives）。针对AI研究与技术的信赖、国际习惯和尊重人权、说明可能性等重要问题，该组织提出8大信条（Tenets）供各界参考。
（4）生命未来研究机构（FutureLifeInstitute）
该组织简称FLI，2015年由Skype共同创始人JaanTallinn等人所创设，该组织的咨询委员会由太空探索技术公司SpaceX社的埃隆·马斯克（ElonMusk）、宇宙物理学家史蒂芬·霍金（StephenHawking）、演员摩根·费理曼（MorganFreeman）等14位人士组成。2017年1月在美国加州阿西洛马（Asilomar）以“人工智能对人类有何利益”为主题，同年2月公开发表阿西洛马AI原则（AsilomarAIPrinciples），该原则有23条，其中与伦理价值观有关的课题，整理如下：
四、建立伦理监督委员会
为处理人工智能伦理问题，德国成立数据伦理委员会，个别企业也设立道德指引的规则，鉴于人工智能使用数字化的风险，由国家制定法律作为规范固然重要。但企业自主规制与建立伦理委员会也是不可欠缺的机制，欧盟委员会欧洲科学与新技术伦理小组，提出尊重人性、自主性等伦理清单。本文介绍日本人工智能的伦理监督委员会，以供参考。
日本人工智能学会成立于1986年，学会的伦理委员会设立于2014年。2017年2月学会公布《人工智能学会伦理指针》，整理其具体内容提供参考：
结论与建议
探讨人工智能道德理论的法律论文数量很多，但能提出具体解决方案的有限，甚至有人认为人工智能设计者、使用者或法律规定的道德选择不在其讨论机器人道德范围内。本文认为这是一个必须面对的难题，根据“理论—规则”驱动进路，将特定群体认可的价值观和道德标准程序化为道德代码，嵌入智能系统，内置道德决策场景的指导性抉择标准。理论上伊曼纽尔·康德（ImmanuelKant）的道义论、约翰·密尔（JohnMill）的功利主义和约翰·罗尔斯（JohnRawls）的正义论都可以成为参考选项。
人类自由意志的问题，在哲学上争论甚久，波蓝尼悖论（Polany’sParadox）认为，“我们知道的可能比我们能说出来的更多，如同司机的技能不可能完全用驾校的驾驶汽车理论来替代”。人工智能以海量数据信息为基础，可以按照既定算法进行预测，但人类拥有自由意志，在面对突发状况时也许会采取出人意料的决策，因为人类大脑掌握的能力高于既定的知识，可以说人类的思维存在着某种不确定的点，人们不是按照既定程序做决策，而是根据自由意志下判断。否定人类有自由意志的观点则认为人类的所有感受没有所谓“自由意志”，一切只是哺乳动物及鸟类拥有的生化机制，用来快速运算生存和繁殖的几率，直观的感受其实只是一套生化演算的结果。无论采取自由意志或生化演算的观点，人工智能的设计者都应当在算法设计阶段做好价值嵌入的程序，融入包括绿色、伦理、守法、自由、关爱在内的“共同善”的价值。
本文前述案例所提及的复杂问题，人类本身至今亦未能有一致的“正确”判断标准，如何期待程序设计者能够为人工智能嵌入一套具备普世价值的判断标准？马克思·韦伯提出诸神之争的本质是现代社会中价值观念之间的冲突，道德规范属于“应然”领域的价值判断，科学无法解决价值判断问题，沟通协调与坦然面对是理智成熟的解决方式，此部分仍有待人类共同努力。所以现阶段人工智能伦理规范多集中于外在规制层面，强调多元伦理原则，至于伦理规范的实质内容，或许可从人本主义为思考起点，以人性尊严作为人工智能立法的价值基础，以人的基本安全为底线，建立人工智能和机器人应用的基本伦理架构，作为人工智能规范政策的最高指导原则。在法制层面制定人工智能发展法，授权人工智能专门监管机构，建立全流程监管体系，成立“数据伦理委员会”，强化数据信息与隐私权保护，也是一个可行的方案。
2017年7月8日国务院制定的《新一代人工智能发展规划》强调采取三步走的战略目标：到2020年，部分领域的人工智能伦理规范和政策法规初步建立；到2025年，初步建立人工智能法律规范、伦理规范和政策体系；2030年，建成更加完善的人工智能法律法规、伦理规范和政策体系。在技术层面，国家标准化管理委员会于2018年1月成立国家人工智能标准化总体组，已发布《人工智能伦理风险分析报告》，目前正研究人工智能术语、人工智能伦理风险评估等标准。2019年我国亦发布《人工智能北京共识》《新一代人工智能管理原则》等重要文件，本文建议持续参考国内外伦理规范资料，设计政府部门的全国性监管方式、制定人工智能道德准则、成立各级人工智能伦理委员会，从而使得我国的人工智能规范更加完善。
原标题：《李麒｜人工智能伦理规范的初步探讨》
过去一年，全球关于人工智能伦理有了这些思考
人工智能的大潮仍在继续，互联网时代的先锋，应当能够在这大潮中立足、思考，抱着向善的信念，不断稳重前行。
在一月底结束的2019年国际消费电子产品展会上（CES2019），LG总裁兼首席技术官帕克（I.P.Park）发表了关于AI如何促进“自我进化”产品的主旨演讲。“人工智能与伦理”的讨论，成为了这场原本与严肃话题不太相关的消费技术盛会的序幕。
从自动驾驶到智能家居，无论是讨论频率还是技术创新，人工智能都已经渗透在人们追求更好生活的方方面面。
据麦肯锡估计：到2030年，人工智能会在全球范围内创造近130亿美元的额外经济产值，占世界GDP增长的1.2%[1]。同时，各国政府也注意到这一技术对人类社会的深入，在加拿大一家国际智库发布的《建设人工智能的世界——国家和区域人工智能政策报告》[2]中，全球已有18个主要国家发布了关于人工智能的针对性战略和政策，包括科技、法规、伦理、社会治理等多个方面。
然而，随着人工智能的井喷式发展，关于人工智能为整个社会带来的影响，也从科幻作品中走进现实。
撇开科幻作品中炫酷而强大的终结者不谈，仅仅简单的自动驾驶技术，当真正投入使用后也会面临“电车悖论”的困扰。人类社会生活的复杂性在于其不仅追求工作的效率和精确，更追求选择的公正与合理。
随着技术的不断发展，当人工智能真正嵌入人们的日常生活，这些伦理选择便也真实地摆在面前，成为人工智能设计者们需要解决的问题。
那么具体来看，人工智能究竟引发了哪些讨论？我们需要关注哪些问题呢？
在过去的一年里，大家关注了这些问题：
人工智能不应该伤害人早在机器人诞生之时，人们便为这种本为帮助人类而设计的机器制定了伦理规范。上世纪50年代，著名科幻小说家阿西莫夫便在《我，机器人》一书中提出了“机器人学的三大法则”。
法则第一条便规定：“机器人不得伤害人类个体，或者目睹人类个体将遭受危险而袖手不管”。保护至高的人类生命是一切行动的前提。从字面上看，这应是一条被普遍承认与遵守的规则，但现实并非科幻作品中那样简单。
2018年4月，谷歌与美国五角大楼达成了Maven项目的合作，通过机器学习技术和先进的计算机视觉技术，在无人机拍摄的视频中辨别物体，自动探测和识别38种类别的目标，从而减轻军事分析员的工作负担。此外，该技术也可以用于追踪目标人员的行动。
此举引发众多项目相关员工辞职，也有将近4000名员工签名请愿谷歌取消该项目。6月，谷歌发表声明：强调其不会进行任何武器开发或以伤害人类为目的的人工智能研究，但项目并未终止。最终在员工们“拒绝为军方研究人工智能”的压力下，谷歌最终确认该项目2019年3月到期后将不再续约。
这场在人工智能界由普通员工发起的“反战运动”的胜利提醒我们——毫无疑问，人工智能技术有极为广阔的应用领域，在技术高速发展的今天，人形“终结者”并不会出现，但可能会以另一种形式悄悄到来。
然而，技术发展需要伦理与规则的限制。毕竟，正是这些最基本的规制保持着人类社会在不断的摩擦、碰撞与冲突中的正常前行。
也许人工智能的去武器化已经在社会大部分达成共识，谷歌的项目也在世界众多和平主义者的声讨中败下阵来。
然而，除了自动化武器这种“主动伤人”之外，当人工智能深入到我们生活中不同场景时，一些人工智能“被迫伤人”的场景如何处理也成为了重要的议题。
自动驾驶便是一例。
2018年10月，麻省理工学院在Nature上发表了一篇将自动驾驶牵涉入“电车难题”的论文[3]。
研究人员通过其开发的“道德机器”（moralmachine）向来自200多个国家的200多万在线参与者提出了一系列自动驾驶汽车在紧急情况时面对不同生命如何选择的问题。
结果显示了人类间选择的多样性——不同群体的选择偏好有很大不同，如一些集群倾向于保护动物，一些集群倾向于保护老人。这些特殊性可以在人类的不同集群中出现，但对于需要提前规定好程序，按唯一特定模式选择的自动驾驶汽车，要么少数人的偏好被无限放大，与大多数产生冲突，要么少数人的偏好在多数人的压倒性优势下完全湮灭。
如果按照研究的普遍性结果制定自动驾驶规则，那么多数人与青年人会被保护，而少数人与老年人则被牺牲。可以想象，若如此规则被全面推广，老年人是否还敢出现在车水马龙的街头。
“一方面，我们希望为公众提供一种简单的方式进行重要的社会讨论，”媒体实验室媒体艺术与科学副教授IyadRahwan说。“另一方面，我们希望收集数据，以确定人们认为哪些因素对于自动驾驶汽车在解决道德权衡方面的重要性。”讨论并未结束，人们也在不断的讨论中进一步认识自动驾驶的真正影响，并为其制定规则。
人工智能不应该歧视人在麻省理工学院的调查中，除了对生命的选择，更值得关注的是人工智能算法对人类偏好差异性的放大。若不注意，这些不同很有可能通过算法开发被扩大为偏见，并实在地影响人们的选择。
比如亚马逊的人工智能雇员系统。这一试验性的雇员系统通过对之前员工简历的机器学习，在实际操作中会给女性技术员的简历评分较低。在无数争议后，亚马逊终于在2018年11月关闭了这一系统。
就在亚马逊关闭人工智能简历筛选系统的同一个月，八名美国国会议员向亚马逊的CEO寄出了联名签名信，抗议其人脸识别系统也存在种族歧视的问题。尽管这次亚马逊顶住压力给予回击，但来自全世界的平权者仍不买账。双方的争吵尚未停止。
通过大量、迅速且精确的重复计算，机器学习能够解决效率问题，在许多领域都大有发展空间。但在高效的同时，细观人类提供的机器学习的样本，在摒除误差、寻找规律时，自然以样本中的多数为样例，运用到现实时，便成为人们所指责的“歧视”。这并非开发者故意的行为，也并非人工智能本身的问题。
只能说，在人类历史的发展中，人工智能帮我们指出了曾经没有意识到的问题，当我们坚信人工智能应当为所有人服务时，我们需要思考如何克服曾经的偏见，这是人与人工智能共同的任务。
人工智能不应该“操纵”人除了已有数据的不同偏好，在人工智能的数据与推荐方面，人们也有许多担心。
当人工智能不断展示其强大的数据处理能力时，许多评论者认为人工智能是中心化的，由于极强的数据攫取能力，巨大的信息不对称带来社会的恐慌。2018年的Facebook隐私泄露事件将数据安全推到了风口浪尖。对人工智能和算法的不信任也上升到从未有过的高度。
同时，算法推荐类产品也被重新审视。
一方面，算法推荐背后强力的数据抓取与分析令人们觉得自己在人工智能面前仿佛赤身裸体，没有一点隐私；另一方面，算法推荐，一味满足人们喜好造就的“知识茧房”也令人们恐惧人工智能强大到可以操控人类的“自我意识”。
2018年12月，谷歌旗下的视频社交网站YouTube又被指出向客户推送极端主义、假新闻等内容。YouTube立刻道歉并删除了视频，但如何纠偏算法推荐系统各方讨论的问题。
人类的道德观，是在历史漫长的社会实践活动中天然形成的，而对于没有经历过这些社会实践的计算机来说，并不能自然形成道德约束。但显然，算法需要价值观已经成为人工智能界的一种主流共识。
要将符合人类价值的约束加于算法中，公开算法只是第一步，如何通过社会讨论确立规则、通过想象力和创造力设计更符合人类伦理价值的算法，还需要在人工智能技术开发的路上不断探索。
人工智能不应该完全取代人如果说算法使消费者与人工智能之间出现了裂痕，那么人工智能在生产端对人的碾压性优势则带来更多恐慌。从机械臂到机器人，从自动化生产到人工智能写新闻，能够替代人类劳动的人工智能产品层出不穷。
2016年12月，美国白宫发布了《人工智能、自动化与经济报告》[4]，指出：人工智能生产正在颠覆劳动力市场。在当时这似乎还略显“多虑”，但之后的这两年中，人们也切身感受到人工智能给劳动力市场带来的压力。
2019年初，布鲁金斯研究中心的报告指出[5]，大约3600万美国人面临被人工智能替代的危险，不仅在农业和制造业，服务业也受到威胁。但也有经济学家指出，自动化生产与服务能够创造新的职位，同时，一些对创造力要求很高的职位也并不能被替代。
事实上，每一次技术的飞跃与变革，都会带来相应社会的阵痛，但社会总能在阵痛中实现转型。或以教育提升个人素质，跻身于更具挑战性也更具价值的工作中；或通过人工智能创造新的职位，实现劳动转型；或加入创业创新大潮，为社会创新注入更多活力。
我们看到，这些富有创造力的人们，正是在“抗争”人工智能的过程中与其合作，在牺牲中实现社会的不断向前。
警醒而不忘科技向善之初心面对技术带来的问题与社会讨论，治理者与实业家们都以自己的方式给出了回应。
在美国2019年的国防部财政预算中，人工智能国家安全委员会第一次出现。委员会聘请包括谷歌、微软在内的人工智能巨头公司的专家，专门评估人工智能、机器学习相关的技术创新，保证对其的运用在法律框架内，并符合伦理价值。
无独有偶，2018年12月，欧盟的52位各领域专家发布了《人工智能发展和运用的伦理指导》[6]，希望在伦理方面对人工智能技术进行规制。他们认为，人工智能首先应当尊重基本人权、伦理规则和社会价值，即追求“伦理目标”；在保持技术创造性的同时，需要反思和加强人工智能的可靠性。
在2018年的人工智能发展规划中，英国也建立了数据伦理中心，试图管理难以捉摸的大数据。
政府以外，各大公司也主动发出自己关于人工智能的伦理倡议，以保证人工智能的合理发展。在2018年世界移动通信大会上，IBMWatson首席技术官RobHigh提出了IBM人工智能开发的三大原则——信任、尊重与隐私保护。
同时，微软倡议政府为面部识别技术制定规制，并提出了六大原则——公平、透明、责任、无歧视、知情同意与法律控制。深陷数据泄露旋涡的Facebook也在2019年初开始行动——拿出750万美元与慕尼黑技术大学合作建立了人工智能伦理研究所，希望在人工智能的研究中引入更多伦理思考。
从数据采集、训练到机器学习，人工智能其实只是放大了一直存在于人类社会的问题，提醒我们在新的时代背景下发挥想象力与创造力，去思考与解决这些问题。
技术来自于人类对美好生活的追求，它始于人，也应控于人，无论是立法限制，还是价值原则，归根结底，都是对人类社会伦理价值的重新探讨。
人工智能的大潮仍在继续，互联网时代的先锋，应当能够在这大潮中立足、思考，抱着向善的信念，不断稳重前行。
尾注：
[1]Bughin,J.etal(2018).NotesfromtheAIFrontier:ModelingtheImpactofAIontheWorldEconomy.https://www.mckinsey.
com/~/media/McKinsey/Featured%20Insights/Artificial%20Intelligence/Notes%20from%20the%20frontier%20
Modeling%20the%20impact%20of%20AI%20on%20the%20world%20economy/MGI-Notes-from-the-AI-frontier-
Modeling-the-impact-of-AI-on-the-world-economy-September-2018.ashx
[2]Dutton,T.etal(2018).BUILDINGANAIWORLD–ReportonNationalandRegionalAIStrategies.https://www.cifar.ca/docs/default-source/ai-society/buildinganaiworld_eng.pdf?sfvrsn=fb18d129_4
[3]EdmondAwad,SohanDsouza,RichardKim,JonathanSchulz,JosephHenrich,AzimShariff,Jean-FrançoisBonnefon&IyadRahwan.TheMoralMachineexperiment.Nature563,pages59–64(2018)
[4]ExecutiveOfficeofthePresident,ArtificialIntelligence，Automation，andtheEconomy.https://www.whitehouse.gov/sites/whitehouse.gov/files/documents/Artificial-Intelligence-Automation-Economy.PDF
[5]报告见www.brookings.edu
[6]AIWithAnEthic:EuropeanExpertsReleaseDraftGuidelines.https://www.forbes.com/sites/federicoguerrini/2018/12/23/from-mass-surveillance-to-killer-robots-eu-experts-want-your-feedback-to-create-trustworthy-ai/#54bbcfee7ddf
作者：王静姝，腾讯研究院助理研究员
公众号：腾讯研究院
来源：https://mp.weixin.qq.com/s/uV_aXpTSIoXIMuJvHN6dYw
题图来自Unsplash，基于CC0协议