::刘宪权：人工智能时代机器人行为道德伦理与刑法规制
【中文关键词】人工智能；智能机器人；机器人道德伦理；刑法规制；刑法保护
【摘要】机器人伦理是设定机器人法律制度的前提与基础，本质上服务于人类利益。机器人伦理主要针对具有“独立意志”的智能机器人，具体包括机器人道德、机器人社会关系等。具体设计机器人法律制度时，应体现机器人伦理的基本内容，秉持承认与限制的基本原则：一是承认机器人的限制性主体地位；二是承认机器人权利，此种承认具有功利主义色彩，本质上是为了更好地实现人类利益。智能机器人的行为应受刑法规制，智能机器人的权益也应受到刑法保护。刑法视野下的智能机器人具有犯罪主体地位，能够实施绝大部分犯罪并承担相应刑事责任；与此同时，智能机器人应享有财产权等权利，侵害机器人权利的行为可能构成相应犯罪。
【全文】
人工智能时代已悄然来临，人工智能的迅速发展正深刻地改变人类社会生活、改变世界，并影响着国家的发展战略。2017年7月8日，国务院《新一代人工智能发展规划》将发展人工智能作为我国抢抓战略机遇、构筑先发优势、加快建设创新型国家和世界科技强国的重要国家战略。规划指出，人工智能成为国际竞争的新焦点，人工智能是引领未来的战略性技术，世界主要发达国家把发展人工智能作为提升国家竞争力、维护国家安全的重大战略；人工智能成为经济发展的新引擎，其将重构生产、分配、交换、消费等经济活动各环节，形成从宏观到微观各领域的智能化新需求，催生新技术、新产品、新产业、新业态、新模式，引发经济结构重大变革。在此重大社会变革之下，作为上层建筑而存在的伦理、法律、政策也应当实现必要的调整与升级，按照规划所提出的目标，实行“三步走”战略：第一步，到2020年，“部分领域的人工智能伦理规范和政策法规初步建立”；第二步，到2025年，“初步建立人工智能法律法规、伦理规范和政策体系”；第三步，到2030年，“建成更加完善的人工智能法律法规、伦理规范和政策体系”。然而，我国目前尚无与人工智能紧密相关的伦理规范与政策法规，与人工智能应用相关的民事与刑事责任确认等法律问题依然主要在传统法律框架内解决，并且迄今为止围绕该问题所展开的研究还极为匮乏。如果说在民事领域有限承认智能机器人的民事权利能力已经成为现阶段部分民法学者的呼声，那么在刑事领域有限承认智能机器人刑事责任能力的主张或讨论则显得极为罕见。而事实上，人工智能时代注定无法回避后一问题。
时下，因人工智能与信息科技的进一步发展与提升，智能机器人愈加接近于”人”。除在医疗、交通、灾害应急处理等社会领域已经出现“人机合作”外，在某些特定领域(如知识产权领域)，智能机器人甚至能独立创作出“作品”，其主体性、人格性、创造性特征已初露端倪，并将会随着人工智能技术的进一步提升而愈发凸显。既然智能机器人愈加接近于人，并能够逐步与人合作或完全替代人从事工作，那么以下这些问题便应当得到理论上的回答：智能机器人与人的区别是什么？智能机器人与人的法律地位之间是否有着不可逾越的鸿沟？是否应当赋予智能机器人法律人格？当智能机器人像人一样实施了危害社会的行为时，仅仅以“人”为主体而构筑的现行法律体系是否“过时”，是否仍然能够应对人工智能时代涌现的新情况、新问题？
以上并不是单纯的法律问题，同时也是深层次的伦理问题。康德将法与伦理相区别，法律与伦理之间的关系是哲学领域经久不衰的话题。目前已达成共识的是，伦理与法律作为两种社会规范分别独立存在，法律是外在的、强制性的秩序，伦理是内在的、求诸于个人内心的力量，二者刚柔并济、相辅相成地调整着社会秩序。正是基于法律与伦理之间合作共生的关系，《新一代人工智能发展规划》将法律法规、伦理规范、政策体系并列，共同作为人工智能时代社会治理的战略目标。法律与伦理同为社会规范，都以社会为其发生的基础，“法和伦理适应于社会，发生于社会……在没有社会共同生活的地方，法和伦理虽然在观念上可能，但是不具有现实性。法与伦理在它们同来之于社会这一点上，两者并不矛盾”。[1]伦理与法律均为规范，规范是社会的产物，同时也反过来助推社会的发展，一方面，人工智能时代与社会是人工智能伦理规范与法律法规的发生基础与现实来源，另一方面，人工智能伦理规范与法律法规的快速建立与完善，也是人工智能加速发展的必然要求与规范保障。
值得指出的是，《新一代人工智能发展规划》在“三步走”战略目标中对人工智能时代的伦理规范、法律法规、政策体系分别作了不同顺序的排位。第一步，到2020年“部分领域的人工智能伦理规范和政策法规初步建立”，其将“伦理规范”置于“政策法规”之前，且并未使用“政策体系”、“法律法规”的表述；第二步与第三步，分别为到2025年“初步建立人工智能法律法规、伦理规范和政策体系”、到2030年“建成更加完善的人工智能法律法规、伦理规范和政策体系”，不难发现，此时其将“伦理规范”的位置略微后移，置于“法律法规”之后、“政策体系”之前。排位上的前后差别恐怕并非偶然无意之举，而自有其深意。在人工智能时代初期，与人工智能紧密相关的法律法规一片荒芜，初创法律法规须以伦理为土壤，只有解决了新时代的道德、伦理等基本问题，才有可能制定出符合时代要求与顺应人们内心准则的法律。因此，初创人工智能法律法规应当遵循从伦理走向规范的路径。而当人工智能时代深化发展到一定的程度，人工智能法律法规已渐成体系之时，伦理势必要谢幕于历史的主场，退居于次要地位，更多表现为对法律的辅助。伦理与法律在不同历史阶段的角色与彼此之间的互动规律，反映着人类社会规范的产生过程，我们在构建人工智能法律体系时显然不能无视这一过程。在机器人广泛介入人类生活的人工智能时代，道德、伦理问题必须首先得到充分的讨论。故本文主要通过分析智能机器人的道德、伦理，探究机器人的法律地位和法律权利，并在此基础上解析智能机器人在刑法体系中的地位以及对应的犯罪范围与受保护范围。
一、机器人道德、伦理
虽然人工智能的概念首次提出于1956年的达特茅斯会议上，但从一项技术、产品演进为一个时代并切实影响着人们的生活却是近年来才发生的事情。人们将人工智能称为一个“时代”不仅仅是因为人工智能技术的提升与应用改变了人们社会生活的方方面面，更在于人工智能呈现出了以往从未有过的特征，即主体性、人格性、创造性等。智能机器人在代替人类从事工作的过程中，已慢慢呈现出摆脱工具地位，渐获主体地位的趋势；在深度学习、神经网络原理与大数据技术的支持下，智能机器人已可独立创作“作品”，符合独创性的特征；在某些发达国家，智能机器人甚至已经被赋予“工人”地位或给予“户籍”。上述种种现象似乎已经与既有的人类伦理产生冲突，使得我们必须重新审视机器人本身以及人类与机器人之间的关系。纯粹的机器人工具主义是否会遭到时代与世界的抛弃，最终在历史舞台上离场，取而代之的是经过时代更新的伦理？机器人的伦理与规范问题必将成为人工智能时代社会科学研究的重要课题。人工智能的法律制度安排离不开伦理基础与价值取向，机器人伦理是研究机器人规范、机器人刑法的重要前提。对机器人伦理的思考应具有一定的前瞻性与超越性，并着重于控制、预防机器人发展、应用过程中的风险，使机器人在发挥有益于人类社会的价值的同时不至于侵害人类的基本利益。笔者认为，机器人伦理涉及文化、意识的碰撞，主要表现为机器人道德、机器人与自然人的关系等问题。
(一)机器人道德应当被赋予和认可
机器人道德是具有自主意识的智能机器人判断某种行为正当与否的基本标准与准则。机器人道德是智能机器人的必备内容，是人类社会对智能机器人融入社会生活最低限度的要求。道德是后天养成的，而非先天即有，这也意味着道德并非专属于自然人，智能机器人也可通过后天养成道德。机器人需要道德并非一个伪命题，尽管目前的机器人尚未有道德，但这并不意味着未来的智能机器人不需要道德。机器人需不需要道德与如何形成机器人道德是两个不同层面的问题。我们不能因为将道德“加载”于机器人存在技术困境，便简单地认为机器人无需道德。事实上，智能机器人大面积应用于社会各领域，必然会涉及机器人道德问题。例如，杀伤性军用机器人如何区分平民、伤患、投降者和恐怖分子，在同时存在大量恐怖分子和些许人质的情况下是否选择攻击等。又如，家庭服务型机器人如何在照顾家庭成员的过程中，区分伤害与救助。再如，医疗型机器人在手术过程中对病人造成的“伤害”或者“治疗”，何时、何种程度才能被认为是不道德的，甚至在传统的“电车难题”、“洞穴奇案”伦理困境中，机器人又会如何作出选择？以无人驾驶机器人道德实验的“隧道问题”为例，当你乘坐的汽车高速行驶至隧道口，一个儿童冒了出来，走到了路中间，正好挡住了隧道的入口，此时通过刹车来避免事故发生已为时晚矣。无人驾驶机器人只有两个选择：一是直接冲过去，但这会导致儿童死亡；二是快速转向撞向隧道的任意一边，但这会让你丧生。很显然，这一道德困境即便人类也没有“正确答案”，但无人驾驶机器人却必须面对并作出选择。上述所言都是机器人在快速、广泛、深入社会生活中所可能面对的道德、伦理问题。机器人的自由程度越高，就越需要道德标准。机器人感知力的提升、自由化程度的提高所带来的不仅仅是工作效率的提升、社会成本的降低，更多的是系统性风险。机器人“加载”道德的目的并不是为了使机器人成为独立的物种，真正平等地参与社会生活，而是为了控制人工智能技术发展所致的系统性风险。这里的系统性风险主要是指机器人在发展、应用过程中，由于技术、外力、故障等各种原因所可能导致的对人类、社会、国家的危害。
机器人道德的主体是机器人，而非设计者或使用者。曾经有人提出机器人的道德选择应该由设计者、使用者设定或者由法律规定。“机器道德决定的作出是基于一种程序或软件，从深层理解，却是来源于机器的使用者，因此在软件设计上体现一种道德的力量，可能是关键和必要的。”[2]哲学、伦理学和计算机科学等领域的学者已经提出了“人工道德”的概念，随着机器人智能水平的提高、独立自主性的提升，对于自主性越来越强的智能机器人来说，它们完全可能成为人工道德的主体。因此，机器人的设计者、使用者或法律规定的道德选择并不在本文所讨论的机器人道德问题的范畴内。事实上，机器人可以具有道德并非天方夜谭，更非无稽之谈。国外已有人进行类似的实证研究，美国机器人研究专家阿金(RonaldArkin)为了使军用机器人比人类更具有人性，在机器人系统中设计了“人工良心”，并公开征求机器人应遵循的道德规范。[3]赋予机器人道德能力需要让机器人在一个道德判断情境中模仿人类的决策过程。首先，机器人应能意识到一个道德判断情境，并依循所布建的推理策略，包括道德原则、基准与价值等，才能在多样化的情境之下判断并处理道德信息，并作出相应敏感判断；特别是在道德两难的情境下，在不同道德原则相互冲突时，作出“合情、合理的决定”。机器人道德不可能也不应该脱离人类道德，这就意味着对机器人的设计者提出了较高的要求。在机器人的设计之初，便应将人类的基本道德原则以算法形式加入其中，并在其后的深度学习养成过程中进行不断的修正，以免出现机器人自以为“道德”但实际已严重背离人类道德观念的情形。这一重要的机器人设计要求应当体现在日后的机器人法律制度之中，以法律之形式明确设计要求才可有效控制机器人“无道德”或“非道德”所带来的风险。相应地，如果机器人的“道德算法”出现问题时，机器人的设计者、使用者应根据主观过错程度与客观危害结果承担相应责任。例如，如果机器人的设计者在机器人的智能程序中取消了不能伤害人类的“机器人三法则”，[4]那么在机器人失控并造成危害结果的情况下，设计者就应承担相应责任。又如，如果机器人的使用者故意将关于违法犯罪内容的大数据灌输给机器人致使其严重背离人类道德并实施违法、犯罪行为的，就应追究使用者的法律责任。
当机器人能够且应当拥有道德时，其不道德的行为便存在了可谴责的基础，所谓道德非难才成为可能。从机器人的设计上来看，只有具备“人工道德”的机器人，才可以因不道德行为而受到非难，并承担相应责任。对于具备“独立意志”、“人工道德”的机器人，其自身独立于机器人的设计者，应对自身行为及其所造成的后果负责。
(二)机器人与自然人的关系不应是平等的
机器人的社会关系包括机器人与自然人的关系以及机器人与机器人之间的关系，其中最为重要也最具有现实意义的是机器人与自然人的关系。机器人与自然人的关系是随着历史发展、科技进步而逐渐产生变化的，其具体表现主要是取决于机器人自身的伦理地位。“对机器人伦理地位的思考正在成为人类不可回避的价值基点。机器人作为一种打引号的‘他’，不是动物的它，也不是人类的他，而是一种介于他和它之间的准他者。只有承认机器人是一种存在，承认其独立的伦理地位和内在价值，保持‘他’作为存在的完整性，人类才能和机器人和平共处，才能在与机器的结合中发展出恰当的伦理规范。”[5]机器人主体性、人格性、创造性的形成使得机器人的伦理地位成为了人们未来必须考虑的问题。在很长的一段时间内，机器人只能是自然人的“工具”，机器人的“工具”地位根深蒂固于人们的观念之中，以致有些人很难接受机器人主体地位的观点。然而，在人类的想象和对未来的预测之中，机器人在各方面均能够媲美甚至超过人类，其不仅可能获得主体地位，甚至可能会成为人类的“主人”。这一现实接受度与未来接受度的差异来源于人类对科技发展的复杂态度，并隐隐契合了人类心理与利益。人类一方面希望人工智能技术不断发展，机器人的智能性等能够媲美或者超越人类，最终实现替代人类从事工作的愿望；另一方面又害怕机器人在能力提升的同时会脱离人类的掌控，进而危害乃至奴役人类。著名理论物理学家霍金在2014年接受BBC采访时就断言人工智能可能意味着“人类的末日”。[6]这一复杂的心理态度从另一侧面展现了机器人的益处与风险。从科技发展的角度来看，以往的机器人本质上是基于自动化技术的机械电子装置，不具有人的属性，更不能与人进行无障碍、自由互动，因而将其视为工具无可厚非。但在人工智能技术革新与大数据支持的背景下，机器人已经迈向高度智能化，能够独立自主地活动而无需由人事先设定或发出指令。从机器人与自然人的关系来看，机器人的地位正在逐渐发生变化。可以预见的是，未来自然人与机器人的主从关系将慢慢淡化，取而代之的是近乎于平等的关系，机器人的主体地位正在逐步显现。深圳一女子欲与机器人结婚，前往民政局进行婚姻登记，系全国首例自然人欲与机器人结婚的事例。[7]从图灵测试开始，人工智能的目标早已不是纯粹的运算能力与感知运算，“情感计算”也是人工智能的重要发展方向。人们希望与机器人展开情感交流，期盼机器人在完成工作与任务之余能满足人的情感和心理需求，而不是面对一具冷冰冰的机器。现实的人类需求孕育出越来越多具备情感计算能力、能与人类进行感性交流的技术和产品，比如菲比小精灵和真娃娃机器人玩偶，一个叫“帕罗”的机器海豹，甚至可以用来充当老年人的伴侣动物。[8]2010年11月7日，“帕罗”成为了首个获得“户籍”的机器人，“帕罗”的发明人在户口簿上的身份是父亲。[9]人类与机器人产生感情并不是无意义的臆想，而是具有科学依据。日本丰桥技术科学大学(ToyohashiUniversityofTechnology)和京都大学(KyotoUniversity)的研究人员为人类与机器人的情感共鸣能力提供了神经生理学依据。[10]机器人主体地位的趋势已经形成，我们应当正视这一社会伦理现象，考虑赋予其适当的法律资格与地位，制定并完善相关的法律制度。
可以肯定的是，机器人绝不可能获得完全的、不受限制的、与自然人平等的主体地位。众多科幻电影、未来学家早已警告人们：人工智能若不受控制地发展下去，将会灭绝人类。即便不会使人类灭绝，人类也绝难接受与机器人共同治理社会、分享资源的局面。正是基于保护人类、维护人类利益的理由，机器人的伦理地位只能是也至多是限制性主体地位，这一原则应始终予以贯彻，并在法律制度中予以体现。笔者认为，即便未来有一天机器人真的能够成为“其他人”，法谚“法律面前人人平等”也不应适用于自然人与机器人之间。机器人限制性主体地位意味着当自然人利益与机器人利益产生冲突时，原则上应保障自然人利益，在绝大多数领域内，自然人与机器人之间不应存在法律意义上的平等。
二、机器人的法律属性
机器人伦理是研究机器人法律属性的前提与基础，机器人伦理的研究成果能够为机器人的法律属性提供研究依据。机器人的伦理地位、机器人与自然人的关系都应体现在机器人的法律属性、法律制度之中。上述机器人伦理的内容可总结为机器人的法律制度安排所必须遵循的基本原则：承认与限制。智能机器人的规范研究与制度安排应始终坚持上述基本原则。在智能机器人的法律人格、法律权利与责任等问题上应秉持承认与限制的基本立场，这一立场实质上是赋予机器人限制性主体地位，而非与自然人完全平等的主体地位，因此在自然人与机器人的利益博弈、冲突中应坚持自然人利益优位。
(一)机器人的法律地位
机器人伦理是构建机器人法律制度的基础与前提。以机器人的法律地位为例，尽管我们能够通过技术操作满足机器人法律地位的条件，但其背后的伦理基础显然是无法通过解释技巧进行补足的。因此，机器人的伦理地位与机器人的法律地位息息相关。机器人伦理地位不仅取决于社会的态度，更与人工智能技术存在重要关联。机器人主体性、人格性、创造性的凸显是人工智能技术迅速发展的高科技结果，没有这些科技，机器人永远只能是工具。人工智能技术使得智能机器人具有越来越多的可能性，在情感、军事、服务等领域都有突出的表现。例如，Packbot机器人在成功执行了35次任务后，不幸被炸坏，而后有几名士兵恳求修复它，因为它曾救过自己的命。又如，性爱机器人在日本、欧洲相继出现并流行，也有人提出希望与其成为伴侣。可以预见的是，智能机器人的伦理主体地位终将会得到人们的认可，这一需求必然会反映在法律制度的构建上。机器人的主体地位虽然目前只是一种学术观点，但这一趋势必然会继续演进下去直至落实到法律实践之中。
承认机器人的伦理主体地位是构建智能机器人法律人格的前提与基础。智能机器人已然不同于普通的机器，存在赋予其法律人格的正当化依据。可以肯定的是，目前智能机器人已具有以下能力：(1)模仿任何其他机器的行为；(2)好奇心(即为了研究它们的环境总是在移动)；自我识别(即对它们自己的视觉能作出反应)；相互识别其同类机种的成员；(3)从它们自身的错误中学习；(4)像人一样“有创造力”和“有目的”，甚至会“寻找它们力所能及的目标”;(5)再生自己的能力；(6)“通过自我修复机制而有无限的使用寿命”。[11]“没有理性的东西只具有一种相对的价值，只能作为手段，因此叫作物；而有理性的生灵才叫作‘人’，因为人依其本质即为目的本身，而不能仅仅作为手段来使用。”[12]智能机器人具有理性已是不争的事实，具有思维与意志亦是可期的未来。
法律的功能是将社会现实中纷繁不同、各具特点的人，以统一的标准人、制度人的方式抽象构建出法律上的人。[13]应该看到，时下将智能机器人作为法律人对待仍存在法理上的困惑。在法学发展的历史中，法律人的构建有许多不同的法学流派，自然法学派以“自然人”为基点，以人性为视角构建出在人类共性之上的“抽象人”。[14]功利法学派也同样以人性为视角，二者的区别是，自然法学派以“理性人”为基础，而功利法学派以“现实人”为基础。分析法学派则认为人生存于制度之中，依附于制度而获得相应的权利与自由。[15]凯尔森认为：“法律上的人并不是在‘它的’义务和权利之外的一个分立的实体，而只是它们的人格化了的统一体，或者由于它的义务与权利就是法律规范，所以不过是一批法律规范的人格化了的统一体而已。”[16]笔者认为，我们将智能机器人作为法律上的人或者赋予智能机器人法律上的人格并不是天方夜谭，更不必有背离法学基础理论的担忧。自然法学派与功利法学派从人性角度解构法律人，而分析法学派从规范与制度角度解构法律人，两者都具有相当深厚的理论基础。从法规范本身来说，法律人的构建源于规范而非源于人性。法律人这一概念的出现，是通过法律制度将人的概念予以类型化的结果。“人之所以为人，并不是因为他是一种有肉体和精神的生物，而是因为根据法律规则的观点，人展现了一种自我目的。这样为了证明人类群体可能可以具备法学人格，我们不需要证明人类在生物学上是相同的客观实体、组织，而是需要证明自我目的在人类群体当中和在个体的人身上的体现是一致的。”[17]因此，将没有生命体的智能机器人作为法律人是具有现实可能性的。超越程序设计与编制范围、基于独立意志进行活动的智能机器人，完全可以证明自我目的，具备法律人格的基础。此外，也有学者提出从“伦理人”到“科学人”的转变。[18]“无论如何，法律人格总会随着时代变迁丰富其内涵。值得肯定的是，法律人格在其历史发展过程中，起源于伦理性，又最终超越于(而非脱离)伦理性；伦理性在一定层面上仍是其深层基础，完全彻底抛弃伦理性这一本源很可能会让法律人格迷失方向和丧失进一步发展的动力。”[19]
既然智能机器人具备法律人格的基础，那么将其作为法律主体对待是否会对法律上“人”的概念产生致命的冲击？应当看到，法律上“人”的概念并非一成不变。随着时代的变革与理念的转变，法律上“人”的内涵与外延经历了不断的演进与变化。正如同“法人”这一概念的确立扩大了法律上“人”的概念与范畴，人工智能时代智能机器人法律人格的创设也可依迹而循。因此，将智能机器人作为法律上的“人”似乎是契合时代潮流的。事实上，虽然我国法律目前没有规定智能机器人的法律人格与权利义务，但世界范围内早已有国家或组织针对该议题进行研究或立法。可见，立法上赋予智能机器人法律人格与权利义务并非完全不可能，世界范围内已有先行者的前沿立法活动。
(二)机器人的法律权利
机器人权利是机器人伦理与规范研究的重要内容。在承认法律人格之后，机器人的权利自然而然便是我们研究的重点和方向。承认与限制的基本原则应始终贯穿于机器人伦理与规范研究之中，在机器人权利的领域内亦不例外。机器人权利具有合理性，随着人工智能向纵深发展，机器人的权利必将得到承认。与此同时，机器人也应承担自己行为所致责任，这是基本法理之所在。在承认的基础上，对机器人的权利类型、范围也应当以伦理为依据进行限制。这一限制取决于自然人与机器人之间的关系，正如前文所述，无论如何自然人与机器人都不可能平等相处，人类不会容许机器人与人类共同治理国家的情形出现。即便机器人真的有可能达到与自然人无异，两者也不可能平等相处。
承认机器人的权利具有必然性。机器人权利应该得到承认的根本原因在于机器人权利具有合理性。主张机器人权利的观点并非一家之言，亦非空中楼阁。早在20世纪便有学者对机器人权利与责任进行研究。1964年，麻省理工学院的美国哲学家普特南(HilaryPutnam)认为当机器人技术足够成熟时，机器人对权利便会有所要求。[20]2000～2011年间，也有外国政府、研究机构等召开研讨会，讨论“机器人与权利”。[21]直至2017年，机器人权利与责任已经从学术研究转变为现实的立法例。欧盟法律事务委员会主张机器人的“工人”身份并赋予其特定的权利义务；日本、韩国也起草了《机器人伦理宪章》等规范性文件。[22]针对机器人权利的说法，也有反对的声音。“即便是机器人可以进行一定程度的自我进化，这也并不意味着人对这种进化的方向与速度失去可控性。假如机器人可以进化到成为拥有生命意识、自我生存欲求和发展目标能力的新型物种，我们就必须及时阻绝这种事态，绝对禁止这种可能提出权利要求的失控物对人类利益造成威胁与损害，这是我们触及与机器人相关的伦理道德问题时的核心关切之所在。”[23]应当看到，这一反对只不过是将限制的立场发挥到极致，核心在于保守的观念与对人工智能技术发展的悲观。一些保守的社会科学学者无法接受这一立场情有可原，毕竟科学技术的发展速度早已超出一般人的理解。“最终，人类不仅可以把机器人看作是机械奴隶、生产品和买卖物，而且可以看作是有其自身权利的实体。通观整个法律史，权利的每次向某种新实体的继续延伸总是有点不可思议的。我们倾向于设想无权‘事物’的无权性是大自然的一种天意，而不是一种出乎支持某种现状的法律协定。”[24]
在承认机器人权利的基础上，限制机器人的权利亦符合人类利益。“人权是一个重要的伦理、法律与政治概念，而机器人权利更多地属于伦理、科技与安全的范畴。”[25]美国未来学家库兹韦尔的奇点理论认为，技术的加速发展会导致一个“失控效应”，人工智能将超越人类智能的潜力和控制，迅速改变人类文明。人工智能奇点的来临使得机器人能够完全独立、自主升级、进化，人类已经无法理解机器人的世界。奇点带来的失控可能是人类与机器人共生，亦可能是人类完全被奴役甚至灭绝。所以，为了避免人类的灭绝，也为了人类的共同利益，限制是必然得到共识的基本立场。
值得注意的是，机器人的权利只能由法律明文规定，“天赋人权”无法适用于机器人。机器人毕竟不是普通法律意义上的人，自然人的法律权利诸如宪法权利、民事权利等均无法及于机器人。在机器人权利的具体内容上，不同类型、不同智能水平的机器人所享有的权利应当是不同的。有人提出无人汽车应当有“路权”，即通过制定法律规定路面上车身前、后一定距离内为无人汽车独自占有。机器人被攻击时应有“自卫权”，机器人外科医生应有执照和行医权。机器人为了有效地服务社会和便于公众接受，应当拥有相应的权利保障，机器人要遵纪守法，也要有权利。[26]此外，具有独立、自主意识的智能机器人不应被视为自然人的财产，而应受到最基本的尊重。[27]人类不能肆意处置、虐待或者抛弃此类机器人，针对机器人的利益也应当通过立法进行保护。
三、智能机器人严重危害社会的行为应受刑法规制
机器人伦理规范在机器人法律制度中的体现不仅应包含对智能机器人法律地位、法律权利的承认与限制，还应包括对智能机器人的规制与惩罚。这一内容尤其体现在与伦理规范息息相关的刑法之中。人工智能时代的来临，不仅为社会带来效率与红利，也带来了诸多的智能机器人风险。刑法如何应对智能机器人风险，如何规制与惩罚智能机器人是未来研究的重要内容。我们首先需要面对的问题是，智能机器人能否成为犯罪主体？智能机器人可以实施何种犯罪？
(一)智能机器人可以成为犯罪主体
智能机器人能否成为犯罪主体取决于其是否符合刑法所规定的成为犯罪主体的条件。根据我国《刑法》17条的规定，犯罪主体需具备以下条件：(1)实施了严重危害社会的行为；(2)具备刑事责任能力；(3)依法应当承担刑事责任。其中第(3)点条件的成立来源于立法，在第(1)点和第(2)点成立之后，由立法明确其犯罪主体地位。正如单位犯罪在1979年《刑法》中尚未出现，经由1987年《海关法》的附属刑法确立了单位(法人)犯罪一样，智能机器人犯罪是否可以依法承担刑事责任本身并不是决定智能机器人能否成为犯罪主体的实质条件，而是立法者在肯定智能机器人具备刑事责任能力并能够实施严重危害社会行为之后在立法上的选择与回应。第(1)点和第(2)点才是决定智能机器人能否成为犯罪主体的本质要件，第(3)点只是罪刑法定原则下对前两点在形式上的固定化、法定化。如若符合第(1)点和第(2)点，则可在刑法第二章第四节单位犯罪后增设一节智能机器人犯罪，承认其主体地位。
1.智能机器人能够实施严重危害社会的行为
本文所言可归责于智能机器人的犯罪行为，是指在程序设计与编制范围之外，智能机器人基于独立“意志”所自主实施的犯罪行为。对于智能机器人按照程序设定的目的实施犯罪行为的，应归责于智能机器人背后的程序设计者以及智能机器人的使用者等人。此时智能机器人仅是工具，而非主体，故危害结果不应也无法归责于智能机器人本身。智能机器人对社会造成损害的情形在世界范围内并不罕见，只是大部分不是智能机器人基于独立意志所自主实施的行为，而多是由于机器、程序故障或操作失误所致。例如，德国大众汽车厂“机器人杀人”事件其实是生产安全事故而非智能机器人基于独立意志所自主实施的行为。工人在工作过程中不慎触发机器人的程序而受到机器人的误伤，因而导致了死亡结果。目前看来，在躯体层面，智能机器人完全拥有实施严重危害社会行为的能力，而在意识层面，尚不能超越程序控制而产生自主意识。但可以预见的是，基于深度学习技术、神经网络学习技术与大数据技术的发展，在不久的将来，智能机器人完全可能产生超越于程序控制的自主意识。未来实验室首席战略与创新官特雷西•弗洛斯认为，人工智能和机器学习技术将帮助机器人拥有自动编程并实施犯罪行为的能力，并预言到2040年机器人犯罪率将超过人类。[28]
2.智能机器人具有辨认能力和控制能力
辨认能力是控制能力的前提，只有具备辨认自己行为是非对错的能力，才可根据这种认识对自己的行为进行控制。对于有生命体的自然人来说，只要达到刑事责任年龄、精神正常便被视为具有辨认能力与控制能力。对于单位来说，刑事责任能力是单位内部自然人个人辨认、控制能力的集合，但又超越自然人，表现为超个人辨认、控制能力的一种集体意志。但智能机器人既无生命体，亦无法根据精神状况与刑事责任年龄认定其辨认和控制能力，更无法根据集体意志与法定存在形式认定其辨认和控制能力，智能机器人的辨认能力与控制能力来源于程序的设计、编制与物理硬件的联合作用。由人类设计、编制的程序使智能机器人具有了独立思考和学习的能力，这种能力使得智能机器人可以产生独立、自主的意识和意志。在这一意识与意志的支配下，程序与硬件为智能机器人的辨认能力与控制能力提供了物理基础。应当看到，只有同时具备辨认能力和控制能力，才可以承担刑事责任。在程序设计范围内进行活动的智能机器人由于受制于程序，因此不具有控制能力，也就不具有承担刑事责任的能力。另外，刑法意义上的辨认能力是对行为的性质、后果、作用的认识能力，这种认识包括事实层面的认识和规范层面的认识。事实认识是一种形式上的认识，智能机器人可以通过其“电子眼”、“电子耳”认识到事实。但对行为性质、作用的认识是一种规范认识，仅依靠物理硬件是不可能完成的。即便是自然人，其认识行为的性质、后果、作用的能力也并不是一蹴而就的，而是在成长过程中，逐渐在家庭乃至于社会生活中体会到规范秩序并由此形成规范意识。笔者认为，在智能机器人的程序设计与编制中加入深度学习法律与规范的部分，将大量的法律、规范性文件、案例作为智能机器人的学习内容，由此使机器人产生规范意识。相较于辨认能力，控制能力的实现是智能机器人的必备能力，是程序设计与编制的必需内容。智能机器人拥有极快速的处理能力、反应速度和极精准的控制能力，能够凭借大数据与高速运算能力对行为进行精准的控制。与自然人相比，智能机器人具有超强的控制能力与可培养的辨认能力，即智能机器人具有承担刑事责任的可能性。至于智能机器人承担刑事责任的具体内容与方式，则必须与智能机器人所享有的权利有所对应。因为刑罚是一种必要的害恶，是对犯罪人权利的剥夺与合法侵害，在现行法律体系并未确立机器人权利的情况下，现行刑法也不可能存在可以直接适用于机器人的刑罚。必须根据智能机器人所享有的权利类型重新建构刑罚体系，以实现刑罚的目的。
(二)智能机器人犯罪的范围
刑法分则共有十章，分别为危害国家安全罪，危害公共安全罪，破坏社会主义市场经济秩序罪，侵犯公民人身权利、民主权利罪，侵犯财产罪，妨害社会管理秩序罪，危害国防利益罪，贪污贿赂罪，渎职罪和军人违反职责罪。对上述十类犯罪而言，自然人完全能够实施，智能机器人则不然。智能机器人能够实施犯罪的范围取决于智能机器人自身的特点。智能机器人与自然人的共同点决定了两者都可实施的犯罪的范围，智能机器人与自然人的不同点则划分出了智能机器人无法实施犯罪的范围。
实施犯罪的范围取决于犯罪主体的特点。单位作为刑法明文规定的主体，能够实施诸多破坏市场经济秩序、妨害社会管理秩序的犯罪(较多地体现为法定犯)，但其无法实施侵犯公民人身权利、民主权利的犯罪(较多地体现为自然犯)。众所周知，刑法中法定犯与自然犯的最大区别在于是否违背伦理道德。由于单位不具有伦理道德，其不可能实施具有违背伦理道德特性的自然犯类别的犯罪。对智能机器人而言，其尽管不具有生命体，但是，正如前述，其具有伦理与道德，能够实施违反伦理与道德规范的行为，并进而在构成相应的自然犯类别的犯罪上没有障碍。应当看到，智能机器人能够实施刑法分则规定的大部分犯罪，只有极少数犯罪因其自身特性而不具有实施的可能性。智能机器人与自然人具有较多的共同点，因此以自然人为主体的刑法罪名往往也能够适用于智能机器人。以刑法分则第五章侵犯财产罪为例，智能机器人可以实施绝大部分犯罪，如抢劫罪、盗窃罪、诈骗罪等。但是，基于身份所实施的犯罪，智能机器人有些因不可能具有这种身份而无法单独实施(例如，贪污罪、受贿罪、挪用公款罪等罪的主体只能由国家工作人员才能构成，而智能机器人显然不可能具有这种身份)，有些则完全可能单独实施(例如，智能机器人医生可以成为医务人员而实施医疗事故罪)。毋庸讳言，时下尽管智能机器人具有替代人进行工作的功能，甚至在医疗、法律、金融领域都有不俗的表现，但由于其在身份认定上还存在较大困难，智能机器人单独构成刑法分则要求具有特定身份的犯罪仍然有很大障碍。但是，我们也应该看到，虽然时下智能机器人尚无法单独成为身份犯罪的正犯，但是我们完全可以用身份犯共同犯罪的规定和原理，对智能机器人的帮助、教唆等行为加以评价。不过，随着智能机器人不断深度融入人类社会，赋予智能机器人某些特定身份的图景可能迟早会到来，到那时智能机器人犯罪与自然人犯罪在主体范围上可能更为接近。
(三)智能机器人与一般机器人的区别
在人工智能时代到来之前，笔者就已提出“机器人”[29]可以成为犯罪对象的理论。具体而言，行为人冒用他人信用卡，在ATM机上取钱的行为构成信用卡诈骗罪，此时，ATM机是被骗对象。笔者认为，ATM机既不是机器也不是人，而是“机器人”。这是因为，程序设计与编制赋予了ATM机类似于银行柜员的识别功能，替代银行柜员进行金融业务。[30]当时尚未出现智能机器人，作为一般机器人的ATM机仅能成为诈骗罪的对象，不能成为诈骗罪的主体，即机器人无法实施诈骗行为并为此承担刑事责任。主要理由在于：(1)机器人虽然具有部分人的功能，但不足以主动实施诈骗行为。程序设计与编制赋予了机器人部分人的功能，这部分功能主要是指识别功能，包括验证账户、密码以及人的真实性等。一般而言，识别功能是被动的而非主动的，是程式化的而非创造性的。所以，机器人仅能在识别功能的范围内运作，而不可能超出识别功能的范围去实施欺骗行为。(2)识别功能尚不足以被评价为刑法中的辨认能力。实施诈骗行为并承担刑事责任的重要依据在于实施者的辨认能力与控制能力，机器人的识别功能还远远达不到一般自然人的辨认能力。正如前述，辨认能力不仅是对事实的认识，更是对事实所蕴含规范意义的认识，作为诈骗类犯罪对象的机器人最多只能认识到事实(包括错误的事实)，而不可能认识到事实的性质、作用等规范层面上的意义。因此，机器人仅能作为诈骗类犯罪的犯罪对象，而不能作为诈骗类犯罪的犯罪主体。
然而，人工智能的发展不仅为“机器人”可以成为犯罪对象的理论提供了发展的路径，也为“机器人”可以成为犯罪主体提供了基础。未来的智能机器人可以主动实施诈骗行为，成为诈骗类犯罪的主体。智能机器人是普通机器人的升级，与普通机器人相比，智能机器人可能产生自主的意识和意志。人类创造机器人的技术达到了无与伦比的程度，依次经历了机器人1.0时代(制造出对外界环境无感知的初级机器人的时代)、2.0时代(制造出对外界环境有感知的高级机器人的时代)、3.0时代(制造出对外界环境有认知、推理和决策能力的智能机器人的时代)。科学技术的发展使得当下和将来的智能机器人能够像“人”一样会思维，甚至能自我创造。智能机器人与普通机器人相比具有以下不同点：(1)智能性。智能性是区分普通机器人与智能机器人的本质特征。这一特征主要表现为认知、推理和决策的能力。智能机器人往往能够在需要感知、思考、计算乃至于创作的领域达到与人类相媲美甚至超越人类的程度。(2)主动性。普通机器人与智能机器人的共同点在于对外界都有认知能力，差别在于智能机器人具有推理和决策能力，即智能机器人的活动具有机器人难以比拟的主动性。只要给智能机器人设定好目标，其就会自我判断、决策通过何种方式实现目标，并针对情况变化进行反应，而普通机器人只能根据人类的指令进行被动的反应式活动。此外，智能机器人可以主动通过神经学习、深度学习与大数据技术来获得进步。(3)创造性。普通机器人不具有创造性，其每一步操作都是按照程序的具体设定来进行的，人们可以完全预测到它们遇到不同的情况会作出什么样的具体“反应”。例如，当持卡人将账户和密码告知ATM机时，ATM机会按照设计和编制的程序即时作出识别和判断，与持卡人进行符合设定程序的金融交易。智能机器人完全不同，人们可以为其设定目标，但无法预测其如何实现目标，即智能机器人实现设定目标的过程完全超出设计者的控制范围。
在探究智能机器人能否成为诈骗类犯罪主体时，应当考虑到智能机器人与普通机器人存在的差异。正如上文所述，对于具有自主意识的智能机器人，刑法上应当认可其刑事责任能力与主体地位。笔者将智能机器人分为两类：一类是仅能在程序设计与编制范围之内进行活动的智能机器人。这类机器人虽然具有认知、决策与推理能力，也能够实施诈骗行为，但其受研发者或使用者的钳制，不具有自主意识，不能独立作出决定，其实施的诈骗行为所体现的是其背后研发者或使用者而非其本身的意志与目的，因此，智能机器人此时只能作为背后的研发者或使用者实施诈骗行为的工具，而不能作为实施诈骗行为的主体。另一类是能够在程序设计与编制范围之外进行诈骗活动的智能机器人，其可基于自主意识而独立决定实施诈骗行为。后者能够成为诈骗类犯罪的主体应无异议。
综上，笔者认为，从能否成为诈骗类犯罪的主体角度看，普通机器人不具有实施诈骗行为的能力，不能作为主体；不具有独立意识的智能机器人虽然能够实施诈骗行为，但行为体现的是研发者或使用者的意志与目的，此时智能机器人只是工具而非主体；在程序设计与编制范围之外具有独立意识的智能机器人，能够独立实施诈骗行为，可以成为诈骗类犯罪的主体，承担诈骗类犯罪的刑事责任。但是，从能否成为诈骗类犯罪的对象角度看，机器人以及两类智能机器人都至少具有识别功能，因而都可以成为诈骗类犯罪的对象。承认智能机器人的犯罪主体地位，并非理论上的自我诠释与陶醉，而是具有巨大的社会治理意义。对实施了犯罪行为的机器人科处刑罚，有利于降低社会治理成本。刑罚的目的是预防犯罪，包括特殊预防与一般预防。这两种预防功能在机器人身上皆得以奏效。机器人具有感知刑罚痛苦的能力(刑罚的形式包括限制、剥夺自由，毁损等)，并且能够在犯罪的快感与刑罚的痛感之间进行理性权衡，以调整其之后的行为，换言之，自由意志的存在决定了机器人本身是可以接受深度学习与深度改造的。一般预防的功能则体现得更为充分，由于机器人具有意识和意志，会学习，能思考，因而此机器人完全可以从彼机器人犯罪受刑的经历中受到威慑与教育，从而不断在自己的“大脑”中塑造或加深符合人类社会规范的价值观。假如我们无视机器人的自由意志，简单而粗暴地将机器人当作不具有主体资格的物品来看待，一旦机器人实施了严重危害社会的行为便在物理上毁损之(因为自由意志是无法毁灭的)，那么经济成本将是巨大的，一般预防功能也会荡然无存。唯有尊重机器人的自由意志，将其作为行为主体与社会成员来看待，有罪必罚，并经由刑事诉讼程序进行法律上的审判，才能在机器人的“大脑”中建立价值体系，植入人类文明，使其自觉遵守并维护社会秩序，从而实现“人工人”向“社会人”的转变，这是人工智能技术发展到一定程度时的理性选择与必由之路，有利于最大程度地降低社会治理成本。
四、智能机器人应成为刑法保护的对象
智能机器人不仅能够成为犯罪主体，亦可成为犯罪对象。智能机器人的犯罪对象地位是不容否认的，一味地规制智能机器人的犯罪行为，而不保护智能机器人的权利不利于人工智能的健康发展。智能机器人的犯罪对象地位实际上折射出的是刑法保护理念。然而，无论采取何种刑法保护理念，这一疑问总是会浮现于心中：刑法保护智能机器人权利的意义是什么？
(一)刑法保护智能机器人权利的意义
这一问题应当回归到本原，刑法保护的是什么？理论上有观点认为，刑法的任务与目的是保护法益。该观点从利益关联性、法的关联性、可侵害性、人的关联性、宪法关联性五个方面将法益的概念界定为：根据宪法的基本原则，由法所保护的、客观上可能受到侵害或者威胁的人的生活利益。其中人的生活利益不仅包括个人的生命、身体、自由、名誉、财产等利益，而且包括建立在保护个人利益的基础之上因而可以还原为个人利益的国家利益与社会利益。[31]因此，智能机器人能否成为刑法所保护的对象，取决于其是否享有权利。从利益关联性来看，智能机器人有着归属于自身的利益。特别是在机器人伦理中要求自然人尊重智能机器人，更是利益关联性的重要表现。从可侵害性来看，智能机器人的利益是可能受到他人侵害的。例如黑客故意损毁智能机器人的程序等。从人的关联性来看，前文已述，智能机器人的法律主体地位应得到承认，其能够成为法律上的“人”。从法的关联性与宪法关联性来看，智能机器人能否受到刑法保护，或者说智能机器人的犯罪对象地位最终仍需要宪法与法律明确其主体地位与相关利益。唯此，智能机器人的犯罪对象地位才能够得到确立。
从刑法的机能来看，保护智能机器人有着重要意义。刑法的机能在于人权保障与社会保护。从人权保障来看，智能机器人虽尚未有人权，但无碍于刑法保护其类似于人权的利益。智能机器人灵性的觉醒意味着智能机器人能够拥有认知、感情，智能机器人亦有其自身之欲求。在智能机器人成为被告人或被害人时，刑法的人权保障机能便可发挥作用，一方面使得作为被告人的智能机器人免受不白之冤，另一方面保护作为被害人的智能机器人的权益。从社会保护来看，保护智能机器人对维护与控制社会秩序具有积极意义。随着智能机器人的普及，未来的社会成员结构之中必然有智能机器人的一席之地，虽其不与人类完全平等，但保护这一类特殊的社会成员对社会秩序的维护亦具有重要作用。此外，不对智能机器人进行保护意味着人类可以随意处置智能机器人，这不仅会使得智能机器人产生负面情绪甚至于向人类发起反抗，更有可能令智能机器人失控以至于阻碍人工智能的发展，妨害社会秩序。从这个意义上说，承认机器人的权利具有鲜明的功利主义色彩，其本质是为了更好地实现人类的利益。
(二)刑法保护智能机器人权利的范围
智能机器人受刑法保护的范围取决于智能机器人的权利范围。刑法所保护的自然人享有的权利类型主要有人身权利、民主权利、财产权利等。行为人侵害某一权利类型即可能构成相应犯罪。例如，非法剥夺他人生命可以构成故意杀人罪。自然人享有生命权(人身权利)，行为人故意杀害自然人的，因侵害了自然人的生命权而构成故意杀人罪。然而，虽然单位是法人，但不享有人身权利中的生命权，所以故意使单位破产、消灭的，不属于刑法中故意杀人罪所规制的范畴。但是，侵害单位财产权利的，则可以构成相应的财产犯罪。由此可知，是否享有法律所赋予的权利是能否成为刑法上的犯罪对象的决定性条件。就权利概念而言，有应然权利与实然权利之分。依照“天赋人权说”，自然人的权利是与生俱来的，此为自然人之应然权利，未将应然权利转化为实然权利的法律，非为良法。但智能机器人不同于自然人，不适用“天赋人权说”，其权利只能来源于法律的规定。尽管目前我国法律尚未作出相应的规定，但不妨碍学者们基于智能机器人的特性为其构建权利模型。譬如在知识产权法领域，已有学者提出智能机器人应享有自己创作作品的著作权。[32]
鉴于承认智能机器人权利所秉持的功利主义立场，智能机器人在人身权利保护方面，尚不能与自然人享有同等待遇。智能机器人没有生命体，也不应享有生命权。自然人的生命权表现在自然人的生命体上，伤害自然人的生命体致使其死亡，即是侵害其生命权。智能机器人没有生命体，只有机器躯体。机器躯体具有可修复性、可替换性等特点，与生命体不可修复、不可替换完全不同，因此，我们不能认为智能机器人具有生命体。应当看到，认为具有独立、自主意识的智能机器人有生命体且享有生命权，显然扩大了生命的本质与内涵。这一认识不仅与人类伦理观念相冲突，对于保护智能机器人也没有较大的积极意义。事实上，即便不赋予智能机器人生命权也同样可以妥当地保护智能机器人。例如，对于破坏智能机器人的机器躯体或者程序的行为，可以按照刑法中相关的财产犯罪加以处理。
智能机器人不应享有人身自由权。《世界人权宣言》1条指出：“人人生而自由，在尊严和权利上一律平等。”天赋人权本质上是一定的社会文化结构所能提供的个人自由空间最大化。[33]需要指出的是，从刑法意义上分析，人身自由权属于人身权利中的重要组成部分，而所有人身权利(包括人身自由权)的存在，均是以生命权的存在为前提的。一个人如果丧失了生命，那么其所有的人身权利也就随之消失。正如前述，智能机器人与自然人的最大区别在于其不具有生命体，因而智能机器人也当然不可能具有人身自由权。另外，从价值论角度分析，智能机器人存在的目的与价值亦有独特性。智能机器人服务人类社会的存在目的决定了其服务价值是根本价值，自由价值远远低于前两者。赋予智能机器人人身自由权是与其存在目的冲突的，也不利于智能机器人服务人类社会。所以，智能机器人无法成为非法拘禁罪等侵害人身自由权犯罪的对象。值得注意的是，智能机器人虽然不具有人身自由权，但其具有独立、自主的意识，可在一定的自主空间内实施行为。例如，恐怖分子劫持智能飞行器并试图改变航向时，飞行器应自主判断并作出决定，拒绝恐怖分子的飞行操作，以自动驾驶的方式向正确的目的地飞行。
智能机器人未来可能享有财产权利并受到刑法保护。随着科技的发展和法学研究的逐步深入，智能机器人可能也将享有财产权利。例如，创作出作品的智能机器人享有著作权等。智能机器人享有上述权利是具有理论基础与现实可能的。对于完全独立、自主的智能机器人而言，财产是其赖以独立生存、保养自身的保障，应在立法上予以明确并进行保护。从刑法角度来看，侵害上述权利的行为可能构成相应犯罪。例如，盗窃、诈骗、抢夺智能机器人财产的，构成相应财产犯罪，但由于智能机器人没有肉体也没有生命权、人身自由权等人身权利，所以抢劫智能机器人财产的行为不应构成抢劫罪，而仍属于抢夺罪或者盗窃罪的范畴。
(责任编辑：辛颜静)
【注释】*华东政法大学教授，法学博士。本文系国家社科基金重大项目“涉信息网络违法犯罪行为法律规制研究”(项目编号：14ZDB147)、中国法学会重点委托课题“互联网金融犯罪的法律规制”(项目编号：CLS2016ZDWT48)的阶段性研究成果。
[1][日]川岛武宜：《现代化与法》，王志安、渠涛、申政武、李旺译，中国政法大学出版社1994年版，第10页。
[2]王东浩：《机器人伦理问题研究》，南开大学博士学位论文，2014年，第46页。
[3]杜严勇：《现代军用机器人的伦理困境》，载《伦理学研究》2014年第5期，第100页。
[4]阿西莫夫在1942年发表的短篇科幻故事《环舞》(Runaround)中首次明确阐述了有关机器人三法则的思想。机器人第一法则，即机器人不得伤害人类，或坐视人类受到伤害；机器人第二法则，即除非违背第一法则，机器人必须服从人类的命令；机器人第三法则，即在不违背第一及第二法则下，机器人必须保护自己。机器人三原则虽然来源于科幻小说作者的遐想，但笔者认为具有重要的指导意义。
[5]《情感机器人：技术与伦理的双重困境》，载《科技日报》2009年4月21日，第5版。
[6]BBCNews,StephenHawking—WillAIKillorSaveHumankind?，http://www.bbc.com/news/technology-37713629，accessedJuly28，2017.
[7]《全国首例机器人与人结婚？》，http://news.chinabyte.com/187/14066187.shtml，访问时间：2017年10月1日。
[8]《人工智能，当机器人有了丰富的感情，与机器人谈“感情”，人类是否“很受伤”?》，http://www.cankaoxiaoxi.com/science/20160405/1118962.shtml，访问时间：2017年10月1日。
[9]JenniferRobertson,HumanRightsvs.RobotRights:ForecastsfromJapan,46(4)CriticalAsianStudies571，571-598(2014).
[10]《人类会与机器人相爱吗？易产生情感共鸣引担忧》，http://tech.sina.com.cn/d/v/2015-11-09/doc-ifxknutf1617260.shtml，访问时间：2017年10月1日。
[11]PhilMcNally&SohaiInayatullay:《机器人的权利——二十一世纪的技术、文化和法律(上)》，邵水浩译，载《世界科学》1989年第6期，第50页。
[12][德]卡尔•拉伦茨：《德国民法通论》(上册)，王晓晔等译，法律出版社2003年版，第46页。
[13]参见胡玉鸿：《法律主体概念及其特性》，载《法学研究》2008年第3期，第6页。
[14]参见赵敦华：《西方哲学简史》，北京大学出版社2000年版，第289页。
[15]胡玉鸿：《“法律人”建构论纲》，载《中国法学》2006年第5期，第39页。
[16][奥]凯尔森：《法与国家的一般理论》，沈宗灵译，中国大百科全书出版社1996年版，第106页。
[17][德]拉德布鲁赫：《法哲学》，王朴译，法律出版社2005年版，第134页。
[18]沈寨：《从“伦理人”到“科学人”——以民法为例看近现代中国法律上的“人”的变迁》，载《太平洋学报》2011年第8期，第4页。
[19]马骏驹、刘卉：《论法律人格内涵的变迁和人格权的发展》，载《法学评论》2002年第1期，第35页。
[20]HilaryPutnam,Robots:MachinesorArtificiallyCreatedLife?61(21)TheJournalofPhilosophy668，668-691(1964).
[21]ForandAgainst:RobotRights,http://eandt.theiet.org/magazine/2011/06/debate.cfm.
[22]参见吴汉东：《人工智能时代的制度安排与法律规制》，载《法律科学》2017年第5期，第133页。
[23]甘绍平：《机器人怎么可能拥有权利》，载《伦理学研究》2017年第3期，第130页。
[24]同注[11]引文，第48页。
[25]杜严勇：《论机器人权利》，载《哲学动态》2015年第8期，第86页。
[26]封锡盛：《机器人不是人，是机器，但须当人看》，载《科学与社会》2015年第2期，第7页。
[27]DavidCalverley,AndroidScienceandAnimalRights,DoesanAnalogyExist?18(4)ConnectionScience403-417(2006).
[28]彬彬：《2040年机器人犯罪率将超过人类成大多数犯罪主体》，载《科学与现代化》2017年第1期，第135页；《人工智能AI发展到一定程度后会犯罪吗？》，http://www.techweb.com.cn/column/2016-09-13/2392298.shtml，访问时间：2017年8月26日。
[29]此处“机器人”原本仅指一般机器人，但随着人工智能的发展，智能机器人也应被纳入其中。前文所述“机器人”是属概念，是指与自然人对应的机器人。
[30]刘宪权：《金融犯罪刑法学原理》，上海人民出版社2017年版，第509页。
[31]参见张明楷：《刑法学》，法律出版社2016年版，第63页。
[32]王迁：《论人工智能生成的内容在著作权法中的定性》，载《法律科学》2017年第5期，第154页。
[33]参见陈兴良：《刑法的价值构造》，中国人民大学出版社2006年版，第101页。
【期刊名称】《比较法研究》【期刊年份】2018年【期号】4
超级人工智能带来的AI伦理是什么样的
时至今日，人们对AI人工智能并不陌生——城市中随处可见的AI场景及应用，给人类生活带来了很多变化：面部识别，让城市通勤、居家有了更便捷的体验；AI模拟成像，让古风甚至穿越成为可能；智能算法的物品筛选，让购物实现千人千面。而随着接踵而来的核心技术的突破、重磅落地的技术前沿革新，“超级人工智能”的诞生及应用让社会对其产生了不同的看法，一方面认为AI可极大提升生产力，推动社会进步，改善人类的生存环境；另一方面则强调AI颠覆性的发展与存在，或将在未来大面积取代人类，并带来伦理层面的挑战。
AI伦理，顾名思义就是AI的伦理学，亦称作“道德哲学”，是对人类道德生活进行的系统性思考和研究。人类对于AI伦理相关的话题，探讨已久。数据科学家凯西·奥尼尔则在《算法霸权：数学杀伤性武器的威胁》一书中，描述了利用大数据、人工智能相关技术导致的偏见和不公。物理学家史蒂芬·霍金曾经谈到，彻底的人工智能可能导致人类的灭亡，伊隆·马斯克认为，人工智能是一个恶魔，但是人类不一定具备控制这个恶魔的能力。
但即便如此，从1950年的图灵测试落地到今日人工智能城市AICITY的诞生，AI的发展显而易见，在“曲折”中持续前行，由此其中夹杂的AI伦理也逐渐成为AI发展之于社会影响的舆论焦点：“超级人工智能”是否会威胁人类的生存安全？算法决策是否能够保证结果公平？当越来越多的“超级人工智能”，特别是机器人投入到使用中，人与机器人的关系如何处理？从弱人工智能到强人工智能甚至是超级人工智能，人工智能是否会失控？所有这些关乎人工智能发展对人类社会基本运营法则的影响的讨论，都属于人工智能伦理的研究范畴。
这些专家和学者的担心并非杞人忧天。机器学习、深度学习算法等人工智能技术，使得计算机可以从数据中不断“学习”，实现自主学习与进化。当前在众多领域，如餐饮、社会服务、巡控检查等，人工智能已经代替人开展了很多工作。未来在某些领域，人工智能可以做出比人类更高效、更精准、更科学的预测和决算。当人工智能进化到足够的高度，产生类似人的情感及“人性”，甚至是与人类伦理类似的“道德伦理观”时，人与机器人的关系是什么，伦理学中人的地位是否会发生变化？这些当前并未清晰定义的问题关系到未来人类生存、生活、发展的方方面面。
AI伦理的5大热点领域
随着人们对于这一问题的认识不断深入，目前围绕人工智能伦理，已经有了明确的问题聚焦。算法歧视、数据隐私、安全与责任、机器人与人的关系以及科技贫困是当前AI伦理5大热点研究领域。
算法歧视算法基于已有的数据进行未来的预测，算法模型和数据输入很大程度上决定着预测结果。无法保证算法开发设计者自身的价值判断不会嵌入算法系统。
数据隐私人工智能充分挖掘和利用数据的相关性，促进了大量数据的采集和流动。通过人工智能终端，后台服务器可以轻易读取个人的活动信息，公共区域高清摄像头随时捕捉行人、行车信息，人脸识别系统轻松抓取面部生物特征，个人、企业的数据隐私将面临越来越多的讨论。深度伪造技术的应用，也出现了滥用个人信息，制造虚假导向等问题。
安全与责任自动驾驶汽车曾导致人员的伤亡、机器人也曾致人受伤。人工智能系统有较强的自主性，也存在受到网络黑客篡改汽车数据的隐患，当出现相关的安全与责任问题时，如何判断责权。
机器人与人的关系人工智能与人类是命令和服从的关系还是友好互动，和谐共生？机器人是否应该获得“意识觉醒”，机器对人类是否会产生“反控制”，机器人与人的关系应该如何界定。
科技贫困人工智能应用将在越来越多领域代人工，人工智能对人力资源的取代，使人类劳动力将面临失业风险。人工智能作为一种高精尖的技术，具有一定的技术门槛，可能产生人工智能技术被少数实力雄厚的大企业垄断的情况，而造成财富格局的固定化、收入差距的扩大化。
可以看到，AI伦理的5大焦点研究领域实际上涵盖了从科技发展到经济增长，乃至人类安全和社会稳定等诸多重大问题，仅靠学界提出呼声，显然是不够的。可喜的是，我们正在看到包括各国政府在内的多种组织和社会团体正在参与到AI伦理的讨论与探索当中。尤其是一批新锐科技公司从自身业务出发对AI伦理的阐述和发展贡献了有益的新思路。
多方构筑下的世界通识
2015年之后，随着人工智能在包括自动驾驶、城市智能化领域的广泛应用，各国政府、非政府组织及各类研究机构开始对AI伦理积极地探索。2019年，我国提出组建国家科技伦理委员会进行科技伦理相关的规范和研究，2020年该委员会正式成立。2021年1月1日，新《民法典》正式实施，从包括保障公众私生活“安宁权”、构筑个人信息安全防火墙到全面建立反性骚扰制度防线以及及时应对AI等新技术对人格权的挑战进行了描述。
欧洲委员会在《人工智能白皮书》中提出，人工智能最终的目的是增进人类福祉，AI以人为本，给予道德，可持续发展，尊重最基本的权利和价值；欧盟委员会提出“可信AI”，明确了三项基本原则：一、AI应当符合法律规定；二、AI应当满足伦理原则；三、AI应当具有可靠性。
IEEE（电器和电子工程师协会）发布《道德准则设计》，主张将价值观嵌入自主智能系统，并将体现人权的最高立项纳入人工智能及自主系统的一般原则。生命未来研究所提出的阿西洛马人工智能原则中从价值归属、司法透明、共同繁荣等13个方面对人工智能系统及应用提出了要求。
与此同时，一批新锐的人工智能领域的科技公司作为AI技术的具体研发方和应用方也提出了自己对于AI伦理的理解。AI伦理无疑将成为未来AICITY建设的重点关注方向。这类需要在全球进行业务拓展的公司而言，将中西方伦理观念进行融合，使其更具普适性和指导性，不仅是出于业务拓展的需要，也从具体操作层面弥补了当前AI伦理研究的盲点。
围绕人工智能伦理的探索，从当前的伦理问题思索，到未来可能产生相对明确而又普适性极强的伦理原则，形成伦理测度，进而进行伦理符合性评估是未来人工智能城市建设中不可回避的问题。但是中西方在道义与功利的伦理价值取向、情感主义和理性主义文化精神等层面存在差异，导致了对于AI伦理的阐述和解读形成了不同的思想阵营。以疫情中东西方社会面对个人健康码的态度和反应速率为例，不同文化心理下的市民对于公众安全与个人隐私之间的博弈有不同的理解。
此外，有研究者将人工智能分为弱人工智能、强人工智能和超人工智能，面对人工智能本身的复杂性以及未来发展极大的不确定性，当前还无法计算和预测超人工智能是否会产生危害，产生何种危害。而人工智能伦理的研究，正是希望通过伦理的原则对人工智能产生的负面影响形成制约。对于这样的科技公司而言，如何将伦理研究嵌入技术研发，使二者形成深度融合，解决当前及未来的问题，最大效用发挥人工智能的正面作用必将是关乎公司未来长远发展的重要课题。
任何一种革命性技术的到来，总是会伴随着这样或那样的认知冲击。从转基因技术到克隆技术再到当前的人工智能，随着人们知识边界的拓展，伦理范畴的讨论也将始终伴随左右。未来的AI伦理研究和应用必将是一个学界、政界、司法界、科技界共同构建的有机生命体，并向着世界范围内的通识渐进。
文/财小哥
图/云图视觉
时/20210303
原标题：《超级人工智能带来的AI伦理是什么样的？》
阅读原文
人工智能的若干伦理问题思考
摘要：本文首先讨论了人工智能伦理的相关概念与发展，指出在当今人工智能技术高速发展的时代，对人工智能伦理的研究是很有必要的。其次对人工智能伦理研究的常见问题进行了分析，并在最后对人工智能的伦理问题的发展进行了讨论。
关键词：人工智能伦理人机环境交互
一、引言
人工智能（ArtificialIntelligence）一词起源于1956年的达特茅斯会议。AI一词一经提出，就引起了众多学者的关注与研究，人们致力于让机器像人一样具有智能，能够与人进行自然的人机交互。虽然总体目标基本一致，但是AI可以分为两个大的方向：一派提倡从上到下（top-down）的方法，即认知主义。这派学者提倡研究人类的策划、推理以及解决问题的能力。先赋予机器复杂的智力，再让他们去完成简单的行为。而另一派则是自下而上的，被称为涌现主义。即不包括任何抽象概念或推理过程，只需让机器人对所感知到的刺激做出反应即可[1]。他们这两派均取得了很大成就，尤其是近些年深度学习算法的提出与发展，给人类的生活带来了很大的帮助。
但是，与此同时，人工智能的迅速发展也给人的生活带来了一些困扰与不安，尤其是在奇点理论提出后，很多人质疑机器的迅速发展会给人类带来极大的危险，随之而来的很多机器事故与机器武器的产生更加印证了人们的这种印象。于是，关于机器伦理、机器道德的研究层出不穷。本文就将从人工智能的伦理问题入手，先行论述人工智能伦理及其相关概念，再讨论一些人工智能伦理的焦点问题：如人工智能能否取代人类、人工智能的责任问题。并在文章的最后给出笔者的一些看法。
二、人工智能伦理相关概念
1.伦理的概念
伦理一词，英文为ethics，一词源自于希腊文的“ethos”，其意义与拉丁文“mores”差不多，表示风俗、习惯的意思。西方的伦理学发展流派纷呈，比较经典的有叔本华的唯意志主义伦理流派、詹姆斯的实用主义伦理学流派、斯宾塞的进化论伦理学流派还有海德格尔的存在主义伦理学流派。其中存在主义是西方影响最广泛的伦理学流派，始终把自由作为其伦理学的核心，认为“自由是价值的唯一源泉”[2]。
在我国，伦理的概念要追溯到公元前6世纪，《周易》、《尚书》已出现单用的伦、理。前者即指人们的关系，“三纲五伦”、“伦理纲常”中的伦即人伦。而理则指条理和道理，指人们应遵循的行为准则。与西方相似，不同学派的伦理观差别很大，儒家强调仁、孝悌忠信与道德修养，墨家信奉“兼相爱，交相利”，而法家则重视法治高于教化，人性本恶，要靠法来相制约[2]。
总的来说，伦理是哲学的分支，是研究社会道德现象及其规律的科学。对其研究是很必要的。因为伦理不但可以建立起一种人与人之间的关系，并且可以通过一种潜在的价值观来对人的行为产生制约与影响。很难想象，没有伦理的概念，我们的社会会有什么人伦与秩序可言。
2.人工智能伦理
其实在人工智能伦理一词诞生以前，很多学者就对机器与人的关系进行过研究，并发表了自己的意见。早在1950年，维纳在《人有人的用途：控制论与社会》一书中就曾经担心自动化技术将会造成“人脑的贬值”[3]。20世纪70年代，德雷福斯曾经连续发表文章《炼金术与人工智能》以及《计算机不能做什么》[4]，从生物、心理学的层次得出了人工智能必将失败的结论。而有关机器伦理（与人工智能伦理相似）的概念则源自《走向机器伦理》一文[5]。文中明确提出：机器伦理关注于机器对人类使用者和其他机器带来的行为结果。文章的作者之一安德森表示，随着机器的越来越智能化，其也应当承担一些社会责任，并具有伦理观念。这样可以帮助人类以及自身更好的进行智能决策。无独有偶，2008年英国计算机专家诺埃尔·夏基教授就曾经呼吁人类应该尽快制定机器（人）相关方面的道德伦理准则。目前国外对于人工智能伦理的研究相对较多，如2005年欧洲机器人研究网络（EURON）的《机器人伦理学路线图》、韩国工商能源部颁布的《机器人伦理宪章》、NASA对“机器人伦理学”所进行的资助等[6]。（注：本文认为人工智能伦理与机器（人）伦理本质上没有太大区别，本文中两者可以替换）。而且国外相关的文献也相对丰富，主要集中在机器人法律、安全与社会伦理问题方面。
国内方面相关研究起步较晚，研究不如国外系统与全面。但是近些年来，相关学者也将重点放在人工智能的伦理方面。相关文献有《机器人技术的伦理边界》[7]、《人权：机器人能够获得吗？》[8]、《我们要给机器人以“人权”吗？》[9]、《给机器人做规矩了，要赶紧了？》[10]、《人工智能与法律问题初探》[11]等等。值得一提的是，从以上文献可以看出，我国学者已经从单纯的技术伦理问题转向人机交互关系中的伦理研究，这无疑是很大的进步。
不过，遗憾的是，无论是在国内还是国外，现在仍然很少有成型的法律法规来对人工智能技术与产品进行约束，随着人们将注意力转向该方向，相信在不远的将来，有关政府部门会出台一套通用的人工智能伦理规范条例，来为整个行业作出表范。
三、人工智能是否会取代人类
有关人工智能与人的关系，很多人进行过质疑与讨论。1967年，《机器的神话》[12]作者就对机器工作提出了强烈的反对意见，认为机器的诞生使得人类丧失个性，从而使社会变得机械化。而近些年来，奇点理论的提出与宣传[13]，更加使得人们担忧机器是否将会全面替代人类，该理论的核心思想即认为机器的智能很快就将超过人类。
笔者认为，人工智能不断进步，这是个不争的事实。机器的感觉，运动、计算机能都将会远远超过人类。这是机器的强项。但是不会从根本上冲击人类的岗位与职业。这是出于以下几方面的考虑：首先机器有自己的优势，人类也有自己的优势，且这个优势是机器在短期无法比拟与模仿的。人类具有思维能力，能够从小数据中迅速提炼归纳出规律，并且可以在资源有限的情况下进行非理性决策。人类拥有直觉能够将无关的事物相关化。人类还具有与机器不尽相同的内部处理方式，一些在人类看来轻而易举的事情，可能对于机器而言就要耗费巨大的资源。2012年，google训练机器从一千万张的图片自发的识别出猫。2016年，谷歌大脑团队训练机器，根据物体的材质不同，来自动调整抓握的力量。这对于一个小孩子来说，是很简单的任务，但在人工智能领域，确正好相反。也许正如莫桑维克悖论所阐述的，高级推理所需要的计算量不大，反倒是低级的感觉运动技能需要庞大的计算资源。
其次，目前人类和机器还没有达到同步对称的交互，仍然存在着交互的时间差。目前为止，仍然是人类占据主动，而且对机器产生不可逆的优势。皮埃罗·斯加鲁菲在《智能的本质》[14]一书中曾经提出：人们在杂乱无章中的大自然中建立规则和秩序，因为这样的环境中人类更容易生存和繁衍不息。而环境的结构化程度越高，制造在其中的机器就越容易，相反，环境的结构化程度越低，机器取代的可能性越小。由此可见，机器的产生与发展是建立在人们对其环境的了解与改造上的。反过来，机器的发展进一步促进了人们的改造与认知活动。这就如天平的两端，单纯的去掉任何一方都会导致天平的失衡。如果没有人类的指引与改造作用，机器只能停留在低端的机械重复工作层次。而机器在一个较低端层次工作的同时也会使得人们不断追求更高层次的结构化，从而使得机器向更高层次迈进。这就像一个迭代上升的过程，人－机器－人－机器，以此循环，人类在这段过程中总是处于领先的地位。所以机器可以取代人类的工作，而不是人类。
再次，人工智能的高速发展同时带来了机遇。诚然，技术的发展会带来一些负面影响，但是如果从全局来看，是利大于弊的。新技术的发展带来的机遇就是全方位的。乘法效应就是说明的这个道理：在高科技领域每增加一份工作，相应的在其它行业增加至少4份工作，相应的，传统制造业为1:1.4[14].我们应该看到，如今伴随着人工智能业的飞速发展，相关企业如雨后春笋般诞生，整体拉动了相关产业（服务业、金融业）的发展，带来了更多的就业机会。
而且，任何一项技术的发展都不是一蹴而的，而是循序渐进的过程。无论是最早期的类人猿的工具制造、还是后来的电力发展、再到现在的互联网时代，技术的发展与运用是需要时间来保证的。现在社会上有些人担心人工智能的发展会立即冲击自己的工作，实则是有些“杞人忧天”的意味。以史可以明鉴，历史上大的技术突破并没有对人类的工作产生毁灭性的打击。蒸汽机的诞生替代了传统的骡马、印刷机的诞生取代了传统的抄写员、农业自动化设施的产生替代了很多农民的工作，但这都没有致使大量的工人流离失所，相反，人们找到了原本属于人类的工作。新兴技术创造的工作机会要高于所替代的工作机会。所以，我们不必过分担心机器取代人类工作的问题。
四、谁来为事故负责
2016年7月，特斯拉无人驾驶汽车发生重大事故，造成了一名司机当场死亡。这件事故很快成为了新闻媒体的焦点。人们不仅仅关注这件事情本身所带来的影响，更加担心机器作为行为执行主体，发生事故后责任的承担机制。究竟是应该惩罚那些做出实际行为的机器（并不知道自己在做什么），还是那些设计或下达命令的人，或者两者兼而有之。如果机器应当受罚，那究竟如何处置呢？是应当像西部世界中将所有记忆全部清空，还是直接销毁呢？目前还没有相关法律对其进行规范与制约。
随着智能产品的逐渐普及，我们对它们的依赖也越来越深。在人机环境交互中，我们对其容忍度也逐渐增加。于是，当系统出现一些小错误时，我们往往将其归因于外界因素，无视这些微小错误的积累，我们总是希望其能自动修复，并恢复到正常的工作状态。遗憾的是，机器黑箱状态并没有呈现出其自身的工作状态，从而造成了人机交互中人的认知空白期。当机器不能自行修复时，往往会将主动权转交给人类，人类就被迫参与到循环中，而这时人们并不知道发生了什么，也不知道该怎样处理。据相关调查与研究，如果人们在时间与任务压力下，往往会产生认知负荷过大的情况，从而导致本可以避免的错误。如果恰巧这时关键部分出了差错，就会产生很大的危险。事后，人们往往会责怪有关人员的不作为，往往忽视机器一方的责任，这样做是有失偏颇的。也许正如佩罗所说：百分之60到80的错误可以归因于操作员的失误。但当我们回顾一次次错误之时，会发现操作员面临的往往是系统故障中未知甚至诡异的行为方式。我们过去的经验帮不上忙，我们只是事后诸葛亮[15]。
其实，笔者认为人工智能存在三种交互模式，即人在环内、人在环外与以上两者相结合。人在环内即控制，这个时候人的主动权较大，从而人们对整个系统产生了操纵感。人在环外即自动，这时候，人的主动权就完全归于机器。第三种情况就是人可以主动/被动进入系统中。目前大多数所谓的无人产品都会有主动模式/自动模式切换。其中被动模式并不可取，这就像之前讨论的那样，无论是时间还是空间上，被动模式对于系统都是不稳定的，很容易造成不必要的事故。
还有一种特殊情况，那就是事故是由设计者／操纵者蓄意操纵的，最典型的就是军事无人机这种武器，军方为了减少己方伤亡，试图以无人机代替有人机进行军事活动。无人机的产生将操作员与责任之间的距离越拉越远，而且随着无人机任务的愈加复杂，幕后操纵者也越来越多，每个人只是完成“事故”的一小部分。所以人们的责任被逐渐淡化，人们对这种“杀戮”变得心安理得。而且很多人也相信，无人机足够智能，与军人相比，能够尽可能减少对无辜平民的伤害。可具有讽刺意义的是，美国的无人机已经夺去了2500至4000人的性命。其中约1000位平民，且有200名儿童[14]。2012年，人权观察在一份报告中强调，完全自主性武器会增加对平民的伤害，不符合人道主义精神[16]。不过，目前对于军事智能武器伦理的研究仍然停留在理论层面，要想在实际军事战争中实践，还需要更加做出更多的努力。
综上可以看出，在一些复杂的人机环境系统中，事故的责任是很难界定的。每个人（机器）都是系统的一部分，完成了系统的一部分功能，但是整体却产生了不可挽回的错误。至于人工智能中人与机器究竟应该以何种方式共处，笔者将在下面一节中给出自己的一些观点。
五、笔者的一些思考
通过以上的讨论与分析，笔者认为，人工智能还远没有伦理的概念（至少是现在），有的只是相应的人对于伦理的概念，是人类将伦理的概念强加在机器身上。在潜意识中，人们总是将机器视之合作的人类，所以赋予机器很多原本不属于它的词汇，如机器智能、机器伦理、机器情感等。在笔者看来，这些词汇本身无可厚非，因为这反映出人们对机器很高的期望，期望其能够像人一样理解他人的想法，并能够与人类进行自然的交互。但是，现在的当务之急，是弄清楚人的伦理中可以进行结构化处理的部分，因为这样下一步才可以让机器学习，形成自己的伦理体系。而且伦理，正如第一部分讨论的，是由伦和理组成的，每一部分都有自己的含义，而“伦”，即人伦，更是人类在长期进化发展中所逐渐形成的，具有很大的文化依赖性。更重要的是，伦理是具有情景性的，在一个情景下的伦理是可以接受的，而换到另一种情景，就变得难以理解，所以，如何解决伦理的跨情景问题，也是需要考虑的问题。
而且值得一提的是，就人机环境交互而言，机指而不仅仅是机器，更不是单纯的计算机，而且还包括机制与机理。而环境不仅仅单指自然环境、社会环境，更要涉及到人的心理环境。单纯的关注某一个方面，总会做到以偏概全。人工智能技术的发展，不仅仅是技术的发展与进步，更加关键的是机制与机理的与时俱进。因为两者的发展是相辅相成的，技术发展过快，而机制并不完善，就会制约技术的发展。现在的人工智能伦理研究就有点这个意味。现在的人类智能的机理尚不清楚，更不要提机器的智能机理了。而且，目前机器大多数关注人的外在环境，即自然环境与社会环境，机器从传感器得到的环境数据来综合分析人所处的外在环境，但是却很难有相应的算法来分析人的内部心理环境，人的心理活动具有意向性，具有动机性，这也是目前机器所不具备的，也是不能理解的。所以对于人工智能的发展而言，机器的发展不仅仅是技术的发展，更是机制上的不断完善。研究出试图理解人的内隐行为的机器，则是进一步的目标。只有达到这个目标，人机环境交互才能达到更高的层次。
六、发展与展望
人工智能伦理研究是人工智能技术发展到一定程度的产物，它既包括人工智能的技术研究，也包括机器与人、机器与环境及人、机、环境之间关系的探索。与很多新兴学科一致，它的历史不长，但发展速度很快。尤其是近些年，依托着深度学习的兴起，以及一些大事件（AlphaGo战胜李世石）的产生，人们对人工智能本身，以及人工智能伦理研究的兴趣陡然上升，对其相关研究与著作也相对增多。但是，可以预期到的是，人工智能技术本身离我们设想的智能程度还相去甚远，且自发的将人的伦理迁移到机器中的想法本身实现难度就极大。而且如果回顾过去的话，人工智能总是在起伏中前进，怎样保证无论是在高峰还是低谷的周期中，政府的资助力度与人们的热情保持在同一水平线，这也是一个很难回避的问题。这些都需要目前的人工智能伦理专家做进一步的研究。
总之，人工智能伦理研究不仅仅要考虑机器技术的高速发展，更要考虑交互主体-人类的思维与认知方式，让机器与人类各司其职，互相促进，这才是人工智能伦理研究的前景与趋势。
参考文献：
[1][法]斯特凡·东希厄,徐寒易译.会做梦的机器人[J].环球科学.2017(4):48-49.
[2]毕彦华.何谓伦理学[M].中央编译出版社,2010.
[3][美]维纳,陈步译.人有人的用处:控制论与社会[M].北京大学出版社,2010.
[4][美]哈里亨德森，侯然译.人工智能-大脑的镜子[M].上海科学技术文献出版社,2011.
[5]M.Anderson,S.Anderson,C.Armen,TowardsMachineEthics:ImplementingTwoAction-BasedEthicalTheories[C].InM.Anderson,S.Anderson,C.Armen(Eds.),MachineEthics:AAAIFallSymposium,TechnicalReportFS-05-06.MenloPark,CA:AAAIPress,2005:1-7.
[6]王绍源,崔文芊.国外机器人伦理学的兴起及其问题域分析[J].未来与发展,2013,(06):48-52.
[7]迟萌.机器人技术的伦理边界机器人技术与应用[J].2009,(03).
[8]江晓原.人权:机器人能够获得吗?--从《机械公敌》想到的问题[N].中华读书报,2004-12-l.
[9]黄建民.我们要给机器人以"人权"吗?读书与评论[J].2009(06):55-58.
[10]姜潘.给机器人做规矩,要赶紧了[N].文汇报,2011-6-7.
[11]唐昊沫,舒心.人工智能与法律问题初探[J].哈尔滨学院学报,2007(01)
[12][美]刘易斯.芒福德,宋俊岭等译.机器的神话[M].北京:中国建筑工业出版社,2009.
[13][美]库兹韦尔,李庆诚,董振华,田源译.奇点降临.北京：机械工业出版社.2011.
[14][美]皮埃罗斯加鲁菲，任莉张建宇译.智能的本质[M].北京:人民邮电出版社,2017.
[15]JamesReason.Humanerror[M].:CambridgeUniversityPress.1990.
[16]杜严勇.关于机器人应用的伦理问题[J].2015,vol5(2):25-34.
摘自《科学与社会》2018.1
周涛：大数据与人工智能的伦理挑战
简而言之，伦理问题就是判断好与坏、对与错的问题，大数据与人工智能的伦理研究是站在人类整体利益的角度去审视判断大数据与人工智能哪些技术何种应用对人类是有利的、哪些是危险的、哪些是不应触碰的，其最终的目的是要找到路径、梳理规范，以保证大数据和人工智能的发展给人类带来的利益远大于伤害。
大数据与人工智能的伦理问题引起了全球学界、业界和政府广泛的关注。2016年，奥巴马政府发表了题为《为人工智能的未来做好准备》的报告[9]，强烈建议要评估人工智能技术和产品带来的风险；2017年，欧洲经济和社会委员发表了题为《大数据伦理——在欧盟政策背景下，实现大数据的经济利益与道德伦理之间的综合平衡》的报告，对大数据的伦理问题进行了概括，特别强调了数据采集和使用带来的安全和隐私问题；2018年，英国议会发表了《英国人工智能的准备、计划和能力》的报告[11]，呼吁政府为人工智能研发和应用设定伦理原则；美国电气与工程师协会、美国未来生命研究所等研究组织和微软、谷歌等科技公司也陆续发布了相关的研究报告。其他国际上相关的报告例子还很多，不一一举出。
中国也开始意识到这些伦理问题的重要性，例如我国2017年发布的中指出制定人工智能《新一代人工智能发展规划》发展的伦理规范是促进人工智能发展的重要保证措施，2017年12月8日，中共中央政治局就实施国家大数据战略进行第二次集体学习，习近平主席主持学习并发表了讲话，在提出实施国家大数据战略加快建设数字中国要求的同时，特别强调了数据安全、数据隐私、数据确权、数据版权、数据治理政策储备和治理规则等与数据伦理相关的问题。
与欧美等国相比，我国学界、业界和政府在大数据与人工智能伦理问题上系统性的深入研究还较少，目前尚未形成具有国际影响力的伦理研究报告和政策实施方案，与习近平主席提出的“要加强国际数据治理政策储备和治理规则研究，提出中国方案”这一要求尚有较大差距。
因为大数据和人工智能的发展是高度融合的，所以本文不拟特别区分大数据的伦理问题和人工智能的伦理问题，而是结合讨论从数据采集、存储和应用，一直到数据挖掘、机器学习等典型人工智能技术发展所带来的一系列伦理问题。
限于篇幅，文章将集中讨论中立性、时效性、导向性、边界问题、隐私问题和责权问题六个方面。本文尽量采用通俗的语言和生动的例子来说明这些问题，既可以作为政府相关管理人员以及学者和从业人员了解大数据与人工智能伦理问题的入门材料，也可以作为一般读者的科普读物。
表面上客观的数据和理性的算法，也可以产生非中立性的结果。事实上，数据和算法导致的歧视往往更难发现也更难消除。数据和算法对中立性的破坏，可能来自三方面的原因：一是采集数据或设计算法的相关人员蓄意为之；二是原始数据本身就存在偏见，因此该数据驱动的算法结果也会有偏见；三是所设计的算法会导致有偏见的结果。第一种原因归根到底是人的问题，在任何时代和任何环境中都可能存在，数据和算法不过是他们利用的工具罢了。因此本文着重分析后面两种情况。
即便数据是人类社会客观中立的记录，如果人类社会本身就存在偏见、歧视和不公平，那么相关数据自然也会带入我们社会的不公。例如，互联网求职的简历数据显示，在职场中身高和性别的歧视都非常严重[12]：平均身高越高，平均收入越高；在同等学历条件和行业背景下，女性要多工作5-10年才能获得和男性相当的薪水。显然，使用这类简历数据进行职位的推荐时，其结果必然自带歧视。
卡内基梅隆大学的Datta等人最近的研究就显示，Google广告系统的人工智能算法在推送职位招聘信息的时候，同等教育背景和工作经历下的男性要比女性以高得多的频率收到高收入职位招聘信息[13]。普林斯顿大学Caliskan等人使用常见的纯统计机器学习模型，在万维网的标准文本语料库上进行训练，发现计算机可以“学会”沉淀在人类语言记录中隐含的偏见——既包括一些无关道德也无伤大雅的偏见，例如昆虫让我们联想到不愉快而花朵则常与欣愉的事情相伴，还包括一些严重的偏见，包括来自性别和种族的歧视[14]。
实际上，有些我们人类自己都没有注意到的潜在的歧视，计算机也能通过机器学习捕捉到。这些数据上存在的偏见，会通过算法表现为带歧视的结果，这些结果可能进一步加大歧视，从而新的数据包含的偏见有可能被加剧，造成恶性循环。比如说数据中显示每十个前1%高年薪的高端职位只有一位女性，于是“性别为女性”这个特征值在获得高端职位推荐中将是一个负面的因素，算法也将避免给女性推高端职位信息。
在没有基于大数据和人工智能的招聘信息服务的情况下，男性和女性获取高端职位信息的数量可能相差不大，这种情况下女性真正获聘高端职位的可能性也远低于男性。如今，计算机的自动服务在源头上就让女性更少知道信息，所以可以预期女性获得高端职位的比例将进一步降低，而这又再次加强了数据的偏差，从而让算法更少向女性推荐高端职位。这种恶性循环，会进一步放大原本就有的不公。
算法的设计和学习过程，也可能带来偏见甚至歧视。个性化推荐算法是目前在大数据和人工智能领域应用最为广泛的算法[15]，其目的是根据用户过往的浏览、点击、收藏、购买等记录，向用户推荐用户他需要或者喜欢的资讯、商品等等。淘宝的猜你喜欢和今日头条的个性化新闻推荐就是推荐算法非常典型的应用。在电商网站上，同一个品类下商品的价格差别巨大，例如都是灌开水的热水袋，在外观和功能差别不大的情况下，从十块钱到数千元都有。
类似地，一支钢笔，从几元到几万元都有。如果某目标用户以前在电商网站收藏和购买的商品，在相关品类中价格排名都特别靠后，那么算法可能会在一个名为“价格敏感度”的特征维度上给该用户标上高分。于是乎，当该用户搜索一个关键词后，如果自己不做调整，可能从前到后翻十页，他看到的都是便宜货。
尽管算法的初衷是提高该用户的点击率——这被认为对用户和商家都好——但是这事实上形成了同类商品展示对低收入消费者的歧视。试想如果在一个购物商场中部分人被告知因为收入过低不允许进入LV的店面，或者因为收入过低而要排队数小时才能入店，而高收入者有专享通道。这种歧视肯定是我们不能容忍的，而在互联网上，数据和算法带来的偏见与之类似但更为隐蔽。
随着数据化浪潮的进一步发展，个人获取和处理信息的难度会进一步加大，我们会更加依赖各种各样的信息中介。例如我们到一个陌生的城市，如何规划一条一日游的路线？又比如我们如何通过在线教育，选择若干课程，进入一个新的领域？再比如我们怎么在读书的时候就规划和选择自己的职业道路？
高度发达的人工智能会充分考虑包括家庭、性别、民族、消费水平等等关于你的各种数据，给出“最适合你的选择”。于是，不同收入和不同家庭背景的人会抵达城市中不同的角落、下载不同的课程、规划不同的人生。在大数据的时代，不同出身的人所获取到的信息差异，可能比现实世界的差异还大，因此很可能形成更早就形成截然不同的视野、格局和能力，从而加剧而不是减少阶级的固化。
与人类相比，计算机有一种特别突出的能力，就是能够保真存储和分析很多年以前的数据，并通过算法对未来某些事件给出远远比人精确的预测。
Mayer-Schönberger曾讨论过一个未来的可能情形，就是当智能机器预测到你将在某时某地犯罪，就可以在你还没有实施犯罪的时候逮捕你[3]。幸运的是，这个比Orwell笔下的世界[16]还可怕得情景，只是Mayer-Schönberger设想的一种极端情况，实际上并没有发生过。Dormehl讲了一个温和得多但已经现实发生的版本[17]，就是美国政府根据姓名、出生地、宗教信仰、历史行为数据——例如所有旅行数据、人脸图片数据等等，会利用机器学习算法，对每一位航空旅客是恐怖分子的嫌疑度进行打分。
一些无辜的人因为疑似恐怖分子或者近期有较高从事恐怖活动的可能性，而经常在机场被羁留检查，甚至多次错过飞机。通过数据和算法，机器可以预测一个人犯罪的概率，如果这个概率足够大，那么在他还没有实施犯罪行为时，就已经实质上受到了惩罚，尽管他可能是完全无辜的。从功利主义的角度讲，这些智能化的方法能够降低犯罪率，但是这里面一个核心的伦理问题就是“我们是否应该为尚未发生的一种可能性付出代价”。
反恐的例子距离普通人的生活较远，下面我们来看一个现实生活中的例子——酒驾。对于机动车驾驶员来说，饮酒驾车是违法，醉酒驾驶可入刑。这条法律受到了数据有力的支撑：“当驾驶者血液中酒精含量达80mg/100mL时，发生交通事故的几率是血液中不含酒精时的2.5倍；达到100mg/100mL时，发生交通事故的几率是血液中不含酒精时的4.7倍；即使在少量饮酒的状态下，交通事故的危险度也可达到未饮酒状态的2倍左右。”
事实上，这条法规的出台，有效降低了严重交通事故的发生率。尽管驾车不违法、喝酒也不违法，但法律赋予了对酒驾者惩处的合法性——因为他触犯了酒驾的法规，就已经是犯罪，而不是尚未犯罪。不过这条法律的基本精神是惩处可能的尚未发生的更严重的犯罪。这当然无可厚非，例如危害公共安全罪背后的法理出发点也是类似的。当数据的采集能力和算法的分析能力进一步增强之后，我们肯定能够发现更多可能危害公共安全的因素，并把它们写进法律中。
几十年后，如果自动驾驶的车辆占有相当的比例，很可能主要的交通事故都是由人类操纵驾驶车辆引起的。那个时候的法律，可能就不是针对饮酒和吸毒后驾车了，但凡活人开车，都得抓了。因为人驾驶车辆本身，就是一种对公共安全的危害。那么，今天能接受酒驾入刑的人，明天能够接受手驾入刑吗？在使用数据和算法预测能力的时候，是否也需要有一个限度？
计算机让人类更加望尘莫及的，是记录和回顾历史的能力。因为大量过往被数据记录下来，所以我们今天的错误可能会带来很长时间难以消除的影响。中学时间一次冲动的打架斗殴，大学期间因为攀比借了款又没有及时还款……这些记录可能会在十年后呈现给潜在的雇主和金融机构，影响一个人职场的发展，降低他申请车贷房贷的成功率，甚至让他的创业融资遭遇阴影。
我们年少轻狂时在自己博客、微博、微信或者其他论坛、贴吧上留下的冲动言论，又或者我们脑残时光上传的裸露、暴力或者炫富的照片，都可能在未来成为我们感情和事业再上一个台阶时的潜水炸弹。我们在本文第6节还会详细讨论数据隐私方面的挑战，如果考虑到隐私泄露的危险，那么你新交的女友或许花10元钱就能扒出你的恋爱史，以及那些你曾经许给不止一个人的山盟海誓。
中国有句古话，叫做“浪子回头金不换”。父母亲友也许会选择原谅甚至忘记，但大数据和人工智能不会遗忘。Mayer-Schönberger就曾经强烈呼吁应该给我们的数据一个“被遗忘的权利”——除了出于科学研究、档案管理、公共安全或其他特殊的既非盈利也不面向一般公众的目的，个人和企业不应该存储、分析、使用和传播超出一定年限的数据[18]。
一些科技企业已经开始了类似的尝试，例如著名的社交网站Snapchat起家的时候就是推出了“阅后即焚”的功能——你发给朋友的信息和图片，对方阅读后一段时间内自动消失。2017年，腾迅投资了Snapchat，实际上腾迅在微信的私信助手中也有“阅后即焚”的功能，还可以设定多长时间后删除消息。但是，你和你的好友虽然看不到了，Snapchat和腾迅原则上可以保存和利用这些信息。
另外，社交媒体产生的数据，相比于一个人所有被记录下来的行为数据，毕竟只是很小的一部分，而绝大部分与我们紧密相关的数据都不是我们主动上传或发送的。越来越多的企业认识到了数据的价值，因此主动删除或者放弃某些数据的使用权，似乎并不是一家盈利性企业优先考虑的问题。尽管Mayer-Schönberger的呼吁已经过去了五年多，我们还没有看到在这个方面任何实质性的进展。
我们每个人都应该尊重历史，都应该怀揣梦想，但更多的时候我们生活在当下。当一个人每做一件事情，都可能承受因过往历史的影响，都必须考虑对未来发展的影响，那这样的人生是不堪重负的。如果数据的使用时限不受控制，这种机制下最安全的选择只能是沿着数据和算法所青睐的某种智能时代的主流道路前进。人类与生俱有的自由狷狂和特立独行恐怕最终都不得不服从机器制定的优化后的规则。
算法根据其优化目标函数所产生的结果对受众，尤其是一般C端用户产生的引导效果，可能与用户真实的需求大相径庭，也可能虽然能够满足用户短期的需求，但是带来中长期的负面效果。我们把这类问题归纳为导向性问题，其短期、中期和长期的具体表现有所不同。
短期表现为算法给出的结果与用户真实需求不符合，用户立刻就有负面的感知。可以说，算法诱骗用户在其需求没有获得有效或充分满足的情况下，帮助算法完成了它拟实现的优化目标。举个例子，在给用户进行个性化新闻推荐或者自动生成新闻的时候[19]，如果算法的目标是最大化推荐的新闻或者自动生成新闻的点击次数，那么计算机自己就会变成一个“标题党”，选择甚至自己生成一些耸人听闻的标题，又或者与当前新闻热点紧密联系的标题，但新闻的实际内容却和标题毫无关系或只有及其浅薄的联系。
用户点击进入新闻页面，发现与其需求和期望严重不符合，立刻就会有上当的感觉。但是用户的点击行为实际上帮助完成了算法的既定目标，而且还让计算机认为“推荐这类新闻或者生成这些标题是正确的”，因此算法可能会变本加厉，越来越标题党。
对于这类问题，如果算法的设计和使用人员本身不存恶意，其实是较好解决的。因为我们可以通过设计更好的目标函数来提升用户体验——毕竟任何一个目标函数都不可能完全覆盖用户的意图，所以优化目标函数以提升用户体验是一个长期的过程。举个例子，一篇新闻打开后用户停留阅读的时间，或者一个微信打开后被转发和点赞的比率，都可以纳入到目标函数中来。
但如果算法的设计和使用人员本身存有恶意，或者完全被短期商业利益绑架，这就可能变成一个难以舒缓的矛盾。譬如百度的魏则西们，搜索病情相关知识的时候，被漫天遍野真假难辨的广告诱骗采用一些不适病情的治疗方案，最终人财两空；又或者如作家木木吐槽在百度搜索上海美国领事馆官网的地址，出来一推广告却几页翻不出真身。如何有效打击这类“恶人利用算法作恶”的问题，就不是简单调整目标函数可以完成的任务了。
中期表现为算法能够满足用户即时需求，但其累积效果与用户的发展利益不一致。简而言之，就是短期虽然满足了用户，但这种“满足”对用户而言或许并非好事。一些大型的游戏开发公司，可以对海量用户的行为数据进行深入挖掘分析，了解用户容易退出游戏的时间点和前兆行为，分析哪些场景、关卡和境遇最易让用户退出游戏，从而通过赠予装备，下发新任务等方式尽最大可能让用户获得更好的游戏体验，延长游戏时间。
一些视频网站，尤其是短视频的网站，正在尝试通过个性化推荐，为用户创造一种沉浸式的美好体验，让用户连续不断地点开视频，停不下来。这些算法很好地满足了用户的需求，用户也不会有负面体验，但是时间长了，对于用户自身的健康成长和学业工作或许会起到负面的作用[20]。某些企业创造经济价值的同时也带来环境的破坏，后者被称为外部成本。类似地，这些累积产生的负面效果也可以看作是“算法的外部性”。由于用户和商家都在这类算法中直接获益，所以这种外部性问题的解决，还需要外部的力量来干预。
举例而言，2018年8月30日，教育部官网发布八部门关于印发《综合防控儿童青少年近视实施方案》的通知，其中国家新闻出版署明确将对网络游戏实施总量调控，采取措施限制未成年人使用时间。之后腾迅立刻提出将推进最严格的实名游戏制度，避免未成年人过度沉迷于王者荣耀等游戏。需要特别强调的是，对用户行为数据的分析挖掘这一技术本身是没有善恶的，类似的技术可用于判断在线课程中哪些地方是学习者普遍认为的难点，从而帮助他们更高质量完成课程学习[21]。
长期表现为算法累积的效果与人类社会整体发展的目标和价值不一致。譬如我们很早就知道，一个人的家庭出身和这个人未来学业和事业所能取得的成绩在统计上是高度相关的[22][23]，因此如果我们能够掌握充分的数据，聪明的算法会在成长的早期和学业工作关键抉择点上倾向于把最优质的资源推荐给家庭背景比较好的人。
就一些可以客观量化的指标，如经济发展指标而言，这个算法也许表现优异，但它可能会大幅度加剧阶级的固化，使得原本贫穷、缺少教育或因种族肤色等原因受到歧视的家庭，改变命运的机会变得更加渺茫。如果我们只看数字利益，阶级的流动并不一定带来比阶级的固化更好的经济表现。但是人类整体发展的目标和价值，不是一群人奴役压迫另一群人而获得更高的效率，所以经济上的成功，数目字上的成功，并不一定代表整个人类社会的成功。
又比如大规模电子商务网站（如阿里巴巴、京东等）和大规模内容网站（如腾迅视频、爱奇异等）的出现，使得所有流量和关注向少数几个平台汇聚。平台在运营流量的时候，会采用以个性化推荐[15][24]为代表的一系列算法来吸引用户更多点击、浏览、收藏和购买。尽管这些算法都考虑了用户个性化的特征，所给出的推荐结果也不尽相同，但事实上受算法驱动的用户整体的行为所表现出来的多样性会降低，因为推荐小众对象的风险毕竟要大得多[25]。
长久而言，小众的喜好和小众的商品都会失去萎缩，人类社会的多样性以及非主流的个性和创造力，都有可能在信息高度丰富的时代反而降低，这对人类社会长远的发展也可能是不利的。
周涛博客链接地址：http://blog.sciencenet.cn/blog-3075-1132200.html
C2
个人会员：返回搜狐，查看更多