::刘仁文、曹波：人工智能体的刑事风险及其归责
摘要：人工智能在推动人类社会智能化变革的同时，其不确定性（自动性）所衍生的侵害人类法益的刑事风险是亟待认真对待的“真问题”，绝非凭空臆造、危言耸听的“伪问题”。对人工智能体被滥用于实施犯罪的刑事风险，应根据现有刑事归责原理，按照具体行为方式以及主观罪过形式，分别追究人工智能体背后的算法设计者、产品制造者与使用者（管理者）故意或过失犯罪的刑事责任。对人工智能体脱离人类控制侵害法益的刑事风险，赋予人工智能体以刑事责任主体地位的肯定论归责方案，存在持论依据及论证路径方面的诸多误区。以刑罚规制人工智能体刑事风险缺乏适宜性，应当借鉴“科技社会防卫论”，通过建构保安处分机制，由司法机关在参考专业技术意见的基础上，对严重侵害人类利益的人工智能体适用以技术性危险消除措施为内容的对物保安处分，回避以刑罚规制人工智能体刑事风险必须具备可非难性的局限，进而为人工智能的发展预留必要的法律空间。
关键词：人工智能体；刑事风险；刑事归责；刑事责任主体；对物保安处分
人工智能的概念虽然早在20世纪50年代即被提出①，但其后人工智能的发展和研究却两度遭遇“寒冬时期”，终在21世纪初迎来第三次发展浪潮和研究高峰。近年来，信息社会和知识时代的来临使得信息以惊人的速度膨胀，人类处理浩如烟海的信息的现实需求催动了大数据技术以及智能技术的发展，大有将人类文明从农业文明-工业文明-网络文明的三个递进阶段推入第四个阶段“人工智能文明”之势。受人工智能技术研发以及法律治理需求的影响，中国的法学理论和法律实务界对人工智能表现出强烈的兴趣，刑法领域的研究成果也呈现爆炸式增长的态势，关于人工智能体能否成为刑事责任主体、其刑事责任应采取何种归责模式，甚至对人工智能体应当适用何种“刑罚”等迅速成为热门话题。
一、人工智能体的刑事风险是“真问题”
得益于深度学习、大数据、大规模计算三位一体的联合驱动，人工智能势不可挡地从封闭的实验室走向开放的商业应用道路，其蕴含的强大赋能效应，使得智能思维、智能工厂、智能设备、智能产品及智能管理等不断涌现，正推动人类社会迈入智能时代。不过，如同促进人类社会发展的其他科学技术一样，人工智能在将人类从繁琐纷杂、枯燥单调的工作中解放出来、推动人类社会完成跨越式变革的同时，其内在的不确定性也衍生出影响人类生存和发展安全的现实及潜在风险，客观上引发人类对人工智能安全性的极大忧虑。
然而，对于刑法应否介入人工智能刑事风险、人工智能体能否成为刑事责任主体等问题，目前中国刑法学界不乏否定声音，甚至有学者就刑法学界对人工智能的浓厚兴趣提出火药味甚浓的批评，认为人工智能法学研究出现违反人类智力常识的“反智化现象”。该学者指出，当前关于人工智能的法学研究其实是以“伪问题”代替“真问题”；学者们关于人工智能所谓的“忧患意识”，实则只是依靠无数假想拼凑起来的幻影，只是在用别人的“噱头”吓唬自己；在人工智能法律风险的应对上，当前的研究停留在缺乏教义支持的对策论层面，往往就事论事、毫无体系；主张人工智能可承担刑事责任的观点根本违背人类制定刑法的目的理性，人类对自由刑、死刑的痛苦感来自天然的肉体和心理，机器人没有痛感，在这一点上它连一只有触觉的蚂蚁都不如；对犯罪人工智能体科处刑罚违背刑法谦抑性原则，“法学家从来没有考虑过人类是否能够为机器人成功搭建起道德或伦理的规范体系，而只是简单粗暴地动用刑罚，面对人工智能等高端技术时总是如此急不可耐。”[1]此外，也有学者以人工智能技术发展的阶段性特征为由，认为“讨论人工智能的刑事规制其实是一个伪命题”。[2]
上述批判意见的确为当前相对激进的人工智能刑法学研究提供了理性反思的契机，但断言人工智能刑事风险乃“伪命题”、研究人工智能体刑事归责系以“伪问题”替代“真问题”却不足取，因为它无视人工智能潜在的负面效应给人类带来的危险和危害，犯了从一个极端走向另一个极端的错误。
（一）人工智能内在之刑事风险具有不容否认的客观真实性
人工智能体是否具有刑事风险决不是法学学者的臆想或者断言，而应当由人工智能运行的实际情况以及技术专家的判断来证实。在研发和应用的实践中，人工智能因其自动性和自主性运行特征或程序故障而致人死伤的事例时有报道。如：2015年德国一名大众汽车厂员工在工作中被机器人抓住并压死在金属板上的“智能机器人杀人事件”；同年，中国发生利用人工智能技术破解互联网验证码策略的打码平台非法获取公民信息的“全国首例利用人工智能犯罪案”；2016年装载自动驾驶系统的特斯拉汽车因出现误认而造成全世界首宗自动驾驶系统致人死亡的车祸，特斯拉CEO伊隆-马斯克也明确强调“人工智能是人类文明生存的根本风险”，并呼吁政府迅速而坚决地进行干预、监督人工智能技术的发展；[3]2018年美国亚利桑那州发生优步自动驾驶车撞死行人的事故。此外，以人工智能深度学习为技术支撑的深度伪造（DeepFake）已带来严重的社会风险，尤其是针对公众人物的深度伪造，有对社会秩序和国家安全造成严重冲击与损害的可能。[4]诚然，人工智能体侵害人类的事例尚未普遍发生，却也充分说明能够跟随外部环境变化而自我调整的人工智能体内含失去人类控制而侵损人类法益的危险，决非主观臆断、危言耸听。
从国内外人工智能技术专家的相关研究来看，人工智能内在的不安全性、不稳定性以及具备深度学习能力的强人工智能脱离人类程序控制侵犯人类、反噬人类的可能性和危险性都是得到认可的。例如，英国萨塞斯大学认知和计算机科学学院前院长、有着“人工智能领域的女性牛人”之称的玛格丽特·博登表示，“人工智能已经引起了人们的担心。未来的进步肯定会带来更多问题，所以对人工智能长期安全的焦虑也是非常必要的。更重要的是，它的短期影响也不容忽视。”[5]（P185）值得注意的是，牛津大学人类未来研究所曾于2015年发表题为《威胁人类文明的12个风险》的报告，将人工智能的崛起与核战争、巨大火山喷发并列为人类未来的威胁之一。英国伦敦大学学院Dawes未来犯罪案研究中心于2019年2月召开“AI与未来犯罪”研讨会，组织来自学术界、公共部门、私营部门领域具有专业知识的31名代表对人工智能可能涉及的犯罪风险进行科学评测。考德威尔等整理研讨会相关材料，形成并发布研究报告《基于人工智能的未来犯罪》，对人工智能的日益普及所产生的潜在犯罪和恐怖威胁进行分类，并根据预期的受害者损害、犯罪收益、犯罪可实现性和打击难度对相关威胁进行排序，最终对18类威胁给予识别和评级。[6]国内也有不少人工智能技术专家对人工智能内在的危险性发出担忧，表示“人工智能已经不是科幻小说和电影讨论的话题了，现实马上就在眼前。我们必须要把可能的危机与机遇摆在人类的面前，这是人类的权利、科学家职责，我们不能因对未来的恐惧而回避，也无法回避，也不能为了眼前看得见的利益而忘命。”[7](P252)
由此可见，如何妥善应对人工智能的这种内在危险或威胁，科学分配人工智能体侵害人类法益的法律责任，是包括刑法在内的法律体系必须认真对待的“真问题”，至于采取何种刑法措施（刑罚或保安处分），则是刑法关于人工智能刑事风险应对的措施之争，属于解决问题的具体方式，而不涉及对人工智能刑事风险是否为“真问题”的评判。申言之，批评者关于人工智能刑事风险属于“伪命题”的看法既无视人工智能已经带给人类损害的客观事实，还因其反对授予人工智能体刑事责任主体地位的理论主张，误解人工智能刑事风险的具体内容。然而，是否授予人工智能体刑事责任主体地位与人工智能刑事风险是否属于“伪命题”系两个不同层面的议题。理论界就不乏这样的学者，他们即便不赞同赋予人工智能以独立的刑事责任主体地位，却依然十分关注人工智能刑事风险，并积极构建责任分配机制予以应对。[8]
在我们看来，由于评价标准的不同，人工智能体是否会像人类一样直接实施犯罪行为可能存在一定的争议，但人工智能体卷入犯罪而被作为犯罪工具予以滥用或者作为犯罪对象被攻击均属可能，批评者在一定意义上误解了人工智能刑事风险的内容和意涵。正如刘宪权回应批评者时所称，“并非在当今的弱人工智能时代不存在刑事风险，而是批判者为批判或否定别人的观点才对弱人工智能时代的风险采取熟视无睹的态度。就此而言，人工智能技术带来的刑事风险不是法学研究者‘依靠无数假想拼凑起来的幻影’，而认为人工智能技术没有带来刑事风险似乎才是批判者闭目塞听所造成的‘幻觉’。”[9]应当承认，批评者大多强调积极运用既有刑法教义学原理在现行刑法的体系框架下解决人工智能损害法益的刑事责任分配问题，这其实已经径行肯定了人工智能内含损害人类法益的可能，只是认为此种可能性不需要刑法专门进行新的规制。
（二）刑法谦抑性难以否定刑法规制人工智能风险的必要性
刑法谦抑性乃刑法最基础、最独特的属性之一，但却不知从何时开始，在讨论刑法是否应当介入某种新行为或者新领域的规制时，谦抑性总会被提出来作为反对刑法规制的理由，以至于使人产生如下印象：刑法谦抑性已然成为反对刑法介入社会生活的标配性理据，动辄被用于批判刑法新增罪名或者重刑化的立法转向。刑法谦抑性在人工智能风险的法律规制研讨中扮演的角色既有积极的维度，也有消极的侧面，如有学者以违反刑法谦抑性为由反对赋予人工智能法律人格或者刑事责任主体地位，[10]有观点表示刑法对人工智能刑事风险的规制牺牲了刑法谦抑性。[11]但是，不论积极抑或消极，学者们对刑法谦抑性的理解整体是在缓和、否定刑法介入人工智能风险规制意义上展开的，强调人工智能属于新兴科技，刑法前置法以及伦理道德等尚未实现对人工智能的研发和运用提出普世性的明确规制标准，人工智能刑事风险的类型及表现仍有待进一步明确，刑法此时介入人工智能刑事风险的规制过于急切。不过，人工智能刑事风险并非都是尚未明晰的新兴风险，人工智能体被用作于犯罪工具以及被作为犯罪对象的风险已被证实，这些风险给人类利益带来的损害丝毫不亚于甚至远超传统犯罪工具或者传统犯罪。因此，我们在运用刑法谦抑性对刑法是否应介入人工智能风险进行评判时需要慎重，应防止对刑法谦抑性的不准确把握和对人工智能刑事风险的不精确识别导致刑法应介入却因谦抑性的不正当主张而未介入。
毋庸置疑，刑事机制最具严厉性且规制成本最高，因而总是在民事侵权责任机制及行政处罚机制难以达到规制效果时，才动用刑事机制介入特定行为，以实现保护法益的目的。“保护法益的手段多数存在，刑罚是制裁手段中最严厉的，而且其社会成本也大（常被比喻成副作用强的药），因此，使用刑罚应该限于其他制裁手段不充分的场合。”[12](P9-10)刑法具有谦抑性的内在品格，是辅助性的法益保护法，不追求规制任何形式、任何程度侵害法益的行为，但这绝不意味着刑法应对人工智能的客观危险熟视无睹、置若罔闻。“刑法的谦抑性原则应当遵循，但也不能无视当今科学技术的高速发展给人类社会所带来的完全不同于以往的冲击。人工智能技术的发展特别是未来可能到来的强人工智能，人类如果对其应对稍有不慎即可能遭遇灭顶之灾。”[13]在相当意义上，刑法谦抑性的要旨在于规范国家刑罚权的行使，防止国家刑罚权过分或不当侵入公民社会生活，强调合理划分不同法律部门在调整特定行为的具体分工，实现特定行为法律规制系统内部的协调性与互补性，而限定刑法规制范围却非刑法谦抑性的必然要求，刑法规制范围也并非越窄越好。“尽管刑法谦抑主义特征仍然需要予以重视，但这并不等于说，刑法就是消极的，甚至是无为的。”[14](P20)当特定行为具备值得刑法规制的必要性和可行性时，刑法应当果断地介入该行为的规制，以发挥刑法有效且有力的社会规制机能。如果特定危险客观存在并严重威胁法益，适当扩充刑法规制范围以及时介入该危险的防控和治理，正是刑法作为保护人类法益的最后一道防线的题中之义。既然人工智能带给人类社会的刑事风险客观存在，运用刑法给予应对必定是刑法切实承担保护法益任务的表现，并不违背刑法的谦抑性原则。
（三）人工智能风险刑法规制需要教义学与立法论衔接互补
人工智能作为人类社会变迁中出现的新技术，人工智能体侵害人类法益无疑为前所未有的新问题，批判论者希冀完全依靠既有的刑法教义学范式在现有刑法体系内充分解决人工智能体刑事归责问题，明显夸大刑法教义学的功能，割裂刑法教义学与刑法立法论之间应有的联系，缺乏方法的妥当性和实践的可行性。“‘伪问题论’通过质疑将来而回避问题本身的论说思路可能并不可取，看不到或者忽视‘将来’的思考也无益于问题的有效解决，因而‘伪问题论’自身的问题意识也存在合理性疑问。”[15]刑法学研究须秉持应有的务实态度和开放理念，对当前人工智能刑事风险的具体内容和样态进行现实性考察以及必要的前瞻性预测，并根据刑事风险属性的差异，给予不同的刑法规制：对刑法规范体系已能较为充分评价的刑事风险，尽可能运用刑法教义学作用范围内进行准确认定和评价；对运用刑法教义学难以在当前刑法规范体系内准确或者全面评价的人工智能刑事风险，应当转变研究视角，通过制定新的罪刑规范予以规制。
就人工智能体侵害法益及其归责问题来看，现有刑法教义学资源能够基本解决自主性较弱的弱人工智能体侵害人类法益的刑事归责问题，但对具有较强（或完全）自主性、具备独立意识和意志的强人工智能侵害法益行为，却难以给予适当的刑法评价和处置，亟需建构性的“立法论”或“对策论”研究，通过引进新型归责模式来解决其刑事责任分配问题。就此而论，人工智能刑法学研究必然属于批判者所谓的“对策论”，只不过该“对策论”决非恣意的“对策论”，而是建立在新的“教义学”基础上的“对策论”，是对现有“教义学”的必要补充和发展。
诚如张明楷所言，“当下经过了一段解释论之后的刑事立法论，可以避免不合理的立法建议，从而对刑事立法起到更好的指导作用。”[16]刑法教义学与刑法立法论衔接互补的研究范式已经在当前刑法学界对人工智能刑事风险及其规制的研究中得到体现。此外，主张通过新增罪名规制人工智能风险的学者必定也采纳以刑法教义学推动刑法立法论和以刑法立法论补充刑法教义学的双向互动研究范式。[17]依此可见，人工智能刑法规制研究应当继续充分释放既有刑法教义学资源的解释张力，在现有刑法规范体系内规范评价人工智能损及人类法益行为的不法与罪责，避免不必要的刑法条文扩张。以此为基础，对超逸刑法教义学作用范围的人工智能刑事风险及其危害，应当制定新的罪刑规范予以规制，促进人工智能刑法规制司法路径与立法路径的衔接与互补。
二、人工智能体的刑事风险及其归责论争
人工智能所带来的刑事风险除人工智能系统成为犯罪对象被不法攻击或操纵外，还有人工智能体被滥用于实施犯罪的工具性风险，如人工智能体被用于非法搜集公民个人信息、实施诈骗犯罪、侵害社会信用等风险，也有人工智能体脱离人类控制而严重侵害人类的风险。后者又可区分为两类：一是缺乏自主意识的弱人工智能体因程序运行偏差、侵害人类的风险，如前述特斯拉自动驾驶汽车致人死亡事例中，装载自动驾驶系统的特斯拉汽车在交叉路口撞上一辆卡车后面的拖车即是因为程序运行偏差所致：它既错以为拖车明亮的白色部分只是天空的一部分，又错以为司机正在注意路况，如果有事发生，他一定不会袖手旁观。[18](P133)二是能够深度学习的强人工智能体，在自主意识和意志支配下实施程序设计之外的严重侵害人类法益行为的危险。[19]
由于缺乏生命权、身体权、荣誉权和财产权，人工智能体一旦作为犯罪对象被其他犯罪主体所攻击，刑法的聚焦点应为人工智能体自身的算法系统（计算机信息系统）及其相应数据的安全。人工智能体的智能属性及其程度取决于人工智能算法，而“成功的人工智能算法需要三样东西：大数据、强大的电脑运算能力，以及优秀（但未必顶尖）的人工智能算法工程师。”[20](P25-26)在新领域善用深度学习的能力，此三者都是必要的，但其中最重要的还是大数据。如果“喂养”算法系统的数据量越大，人工神经网络获得的样本数据将越多，人工智能体就越能够正确识别出形态，准确辨认真实世界里的东西。当然，人工智能体对算法系统及大数据的依赖也客观上带来算法系统和数据安全的巨大挑战，诱发算法系统与数据安全被不法攻击的危险。对犯罪对象意义上人工智能体刑事风险及其客观危害，应尽可能借助现有刑法罪名体系予以准确评价，即根据行为人行为方式与侵害法益的特征，分别将其认定为刑法分则第六章规定的非法侵入计算机信息系统罪等信息网络犯罪，而当行为人通过破坏人工智能体算法系统或者数据安全操作人工智能体侵犯人类的生命、身体等安全的，可以根据具体犯罪情节，将其认定为以危险方法危害公共安全罪。[21]
在人工智能体被滥用于实施犯罪的责任分配中，犯罪体现的是犯罪人自身的犯罪意志，人工智能体仅作为实施犯罪的特殊工具。“在大多数情况下，算法的背后是人而不是机器在真正发挥决策作用。算法驱动下的人工智能，按照人设定的逻辑，判断、决策、执行各个任务环节。”[22]因此，对于人工智能体犯罪工具风险的刑事归责，应当根据犯罪人滥用人工智能体实施犯罪的客观样态和犯罪人自身的主观罪过形式，对故意设计、制造“邪恶”人工智能体，懈怠注意义务设计、制造严重瑕疵的人工智能体，滥用人工智能体实施犯罪或未尽合理监管义务导致严重危害后果等，分别追究算法设计者、产品制造者与使用者（管理者）的故意或过失犯罪的刑事责任。
例如，人工智能外科医生对病人进行安装新髋关节的手术，手术中人工智体能却出现机械性误差。负责监控手术的人类医生未能尽职地监控手术进程，且无法中途介入以完成髋关节置换术，导致手术不得不提早结束，迫使患者必须进行第二次髋关节置换手术。[23](P26)人类医生原本履行监管义务即可阻断人工智能体内在危险现实化进程，却懈怠监管义务，未能及时发现机械性误差并中途介入完成手术，客观上造成患者髋关节置换不当并需要进行第二次手术，可追究人类医生过失犯罪的刑事责任。不过，“过失意味着不注意，而不注意指的是违反注意义务，也即违反应当为了回避犯罪事实的实现而小心谨慎的义务。”[24](P192)过失犯罪刑事归责的前提要素是具备结果回避可能性，即行为人小心谨慎地履行注意义务，采取回避措施即能够有效地回避法定危害后果的发生，将过失犯罪的刑事归责适用于缺乏结果回避可能性的场合将背离刑法责任主义。据此，如果人类医生尽职地履行监控义务，仍来不及中途介入手术进程，或者即便人类医生中途介入手术进程，仍不能避免人工智能体机械性误差的可能后果，应当以缺乏结果回避可能性为由，将患者因人类医生懈怠尽职监控义务而必须进行第二次置换术的后果认定为不可抗力造成的事故或偶然事件，进而否定对人类医生过失犯罪的刑事归责。当然在此种情形中，人类医生懈怠尽职监控义务符合医疗侵权的构成要件的，不排除从民事侵权的角度考虑追究人类医生的赔偿责任。
在现阶段，人工智能体刑事归责论争的焦点在于：若人工智能产品“变坏”，在运行过程中偏离程序主动或被动侵害人类，该如何分配刑事责任？现代责任主义强调，刑事责任的发动必须具有正当化根据，任何人只能因自己可被非难的行为承担刑事责任。拥有自主意识的人工智能体受其深度学习的指引，在改变自己来适应环境变化的过程中有可能“自主地”“不被预见地”犯下严重侵害人类的“罪行”。在这种情况下，人工智能体研发和运行中所涉及的人类主体都勤勉尽责，所设计和所制造的人工智能体满足合理的产品质量标准，他们与人工智能体的恶行虽有关联但无因果，更无法具体预见人工智能体会严重侵损人类法益，追究其刑事责任将明显抵触现代责任主义。那么，应否肯定人工智能体自身的刑事责任主体地位，以填补人工智能体脱离人类控制而侵害人类风险中可能出现的“责任空白”呢？
对此，肯定论者提出，刑法应重视前瞻预防和风险防控，强调人工智能正深刻动摇传统刑法归责体系及其基础，应从刑事责任能力出发抑或演绎法人犯罪主体法理，根据人工智能体的学习能力和发展代际，肯定具有自主学习能力的智能机器人为“第三类人”“人工人”，赋予其独立刑事责任主体地位，增设删除数据、修改程序、永久销毁等新型刑罚方法，妥善解决人工智能体脱离人类控制、侵害法益的风险中的刑事责任归属问题。[25]与之相对，坚持人工智能体不能成为刑事责任主体的否定论指出，因电子机械运动与人的生理运动之间存在不可逾越的鸿沟，从金属、塑料和指示电极开与关的程序组合中无法产生人的意识。在对人类意识的本质及生成机制缺乏透彻理解的情况下，无论是符号主义还是联结主义，都不能模拟出人的意识。即使假设强人工智能已经到来，考虑对其增设刑罚种类也意义不大。[26]
综合肯定论与否定论来看，否定缺乏自主意识和意志的弱人工智能体的刑事责任主体地位已成为学界共识，论争主要聚焦于强人工智能体是否可以成为刑事责任主体。肯定论者立足人工智能体本身的道义性，主张强人工智能体已经超越工具理性的范畴，成为能够通过深度学习形成自主意识并在其侵害人类法益的过程中实现其自主意识的特殊主体。“现有的罪责理论并不排斥人工智能的罪责，甚至可能发展出一种合理的客观标准作为人工智能罪责能力的判断依据。在此基础上，至少将人工智能主体作为一种拟制的法律主体置于刑法的范畴之内是没有问题的，甚至将其作为道德主体的可能性在事实和逻辑层面也是可以成立的。在人工智能主体具备足够的理性能力的前提下，对其科处刑罚是有意义的，完全符合刑罚目的。”[27]否定论者则继续秉承人类中心主义理念，强调“把人看成是自然界唯一具有内在价值的事物，并理所当然地把人看成是一切价值的尺度，人以外的事物不具有内在价值而只有工具价值，它们理应为人类的利益服务。”[28](P33)人工智能体与人存在明显区别，人工智能体所拥有的“智能”只是人类对于其能够在人类缺乏详细预设的情况下自主完成任务能力的一种表述，并非人类“智力”。[29](P245)
三、不宜以刑罚来规制（强）人工智能体的刑事风险
蕴含强烈规范性谴责和非难的刑罚乃犯罪之最基本、最主要且最核心的法律后果，建构新型“刑罚”以实现对人工智能体自动性运行可能侵害人类法益的刑事风险进行刑事归责似乎是最直接的选择。然而，主张赋予人工智能体（特别是强人工智能体）以刑事责任主体地位，运用刑罚非难、制裁“犯罪”人工智能体以规制强人工智能体刑事风险的肯定论归责方案，虽对现代科技所带来的刑事风险保持了值得肯定的高度警惕，其重构刑事责任理论模型及刑罚措施对完善现行刑事责任理论与刑事制裁体系也具有启发意义，但却存在持论依据及论证路径方面的诸多误区。
（一）误将刑事责任能力视为刑事责任主体地位的充分条件
肯定论者普遍认为，若人工智能体具有“独立意志”“辨认能力和控制能力”，能够“为了实现自己的意志、自主决策并自主实施”行为，或具有“自主性”或“拥有自我的意识”，便符合刑事责任主体的条件。[30]但且不论人工智能体能否真切地理解其所感知事物的真实意义，即便暂时承认能够深入学习的人工智能体具有刑法所要求的辨认和控制能力，也不应据此肯定人工智能体的独立刑事责任主体地位。
的确，刑事责任能力是行为人辨认和控制自己行为的能力，行为人只有在能够辨认自己行为性质及其后果并且能够自由选择是否实施犯罪时才承担刑事责任；而刑事责任主体是实施刑法规定的犯罪行为、值得刑法非难与谴责的刑事责任承担者。刑事责任能力仅为刑事责任主体地位的必要条件而非充分条件，具备独立刑事责任主体地位的主体必然具有刑事责任能力，但具有刑事责任能力的主体却并不一定拥有独立刑事责任主体的地位。“具有‘辨认能力和控制能力’的不止是人类，如家养和野生动物虽有以上能力，但都不是犯罪主体，应当将以上能力限定为超越生物意义的、主要是与人类社会规范相关的‘辨认能力和控制能力’，同时，犯罪主体要排除动物等非人类创造物。”[31]肯定说一味将人工智能体与人的特征进行对比，论证人工智能体具有刑事责任能力的可能性，忽略刑法理论中责任主体归根结底只能是人的这一最基础最核心的要素，[32]走入以偏概全、逻辑错乱的误区。
（二）混淆“自主意识与意志”和辨认与控制能力
传感器、反应器及无线通讯技术的发展，使具有深度学习能力的强人工智能体可以感知外界环境的变化，并自主做出既可能是符合程序设定也可能偏离设定程序的反应，获得超越人类的“自主意识与意志”。如采用强化学习算法的AlphaGoZero在零人类经验的情况下，通过自我训练即可“随机应变”，最终在自我训练三天即以100:0的战绩完败曾经战胜韩国棋手李世石的AlphaGo，在与人类排名第一的棋手柯洁的人机大战中也以3:0的战绩取胜。经由深度学习、自主运行而产生的“自主意识与意志”被肯定论者认为具有“辨认能力和控制能力”，甚至强调“与人类相比，强人工智能产品具有更强的控制能力和可培养的辨认能力”。[33]
以辨认与控制能力为核心的人类思维、情感、心智是人类与其他生物最明显的区别之一，也是人类自身尊严和奥秘所在，与人工智能通过学习、归纳和推理表现出的“逻辑思维”“物理理性”大相径庭。肯定论者将“自主意识与意志”和辨认与控制能力予以等同，无视人工智能与人类智能的客观差异，曲解刑法中辨认与控制能力的实质。对此，斯坦福顶尖人工智能专家杰瑞·卡普兰曾发出警示：“人们倾向于认为，大部分人工智能系统和特殊的机器人类似于人类的大脑和肌肉，虽然可以理解，但是这样的想法却是很危险的。长期以来，人工智能领域一直在利用我们对于人格化对象（看起来像我们或者行为像我们）的自然喜好，因为它们可以吸引人的注意力或吸引投资。但同时这样的对象也会误导人们，让人们相信及其比它们实际上更像我们，并进一步假设它们有理解能力并会遵守我们的社会习俗。”[34](P35)人作为社会性存在，并非机械、物理性地参与社会交往实践，刑法中人的辨认与控制能力均具有强烈的社会性和规范性，不是纯粹感知到“有”或“无”“存在与否”等事实特征，而是对行为性质及其后果的规范认知并以此为前提有意识地选择为或不为特定行为，以符合其参与社会交往和实现自身人格的需要。刑法设定和追究刑事责任旨在，以非难违反刑法规范的行为并制裁其行为主体的方式命令人们遵从刑法的规范。显然，唯有以具有规范性辨认和控制能力、能够理解刑法规范意义的人为对象方能实现刑事责任的内在目的。
与此相关，人工智能体基于深度学习做出表现于外部世界的反应或举动也难以认定为刑法中的“行为”，缺乏值得刑法处罚的对象。刑法中的行为是在自由意识和意志的支配下所实施的具有社会意义的外部动作，“在目前的发展状态下，似乎人工智能产品的行为都很难被归入行为的范畴内。即使我们把行为的‘身体’维度排除在外，这一行为的定义永远都不适用于机器，智能主体的行为既不能被视为‘与社会相关’，也不能被视为刑法意义上的‘自愿’”[35]。
（三）不当演绎单位作为独立刑事责任主体的法理
除将人工智能体深度学习产生自主意识和意志的能力视作刑事责任能力外，肯定说还演绎单位作为独立刑事责任主体的法理基础，表示“自然人与智能机器人之间最大的区别在于自然人有生命，而智能机器人没有生命。但是没有生命的单位可以成为刑事责任主体，这就意味着‘生命’并不是成立刑事责任主体的必备要件。”[36]不过，“法人是法律拟制的产物，没有法律的拟制，法人的任何一种行为均可以还原为自然人之行为。而人工智能机器人却是实实在在的事物，有没有法律的拟制均为客观的事物。换句话说，法人是法律之子，而人工智能是自然之子，两者存在事物本质上的差异。”[37]当前单位刑事责任主体地位的取得仍以自然人为基础，未超逸自然人责任观念的基本范畴。
单位承担刑事责任的前提是依法成立的单位在“单位意志”的支配下由单位成员出于单位利益的需要实施刑法规定的犯罪行为，并将犯罪所得的利益归属于单位。其中，与人工智能体的明显区别有三：一是单位的责任主体地位得到民法或经济行政法等刑法前置法的确认，而人工智能体却未获得法律人格。虽然域外人工智能体有被授予法律人格的成例（如2010年日本富山县接受陪伴机器人Paro的户籍登记请求；2017年沙特阿拉伯授予人形机器人Sophia国籍，承认其公民身份），但却被包括人工智能科学家在内的各方人士更多地认为是一种公关噱头，一场科技领域的作秀，绝非对人工智能体法律主体身份的真正肯定。[38]在刑法前置法尚未认可人工智能体法律主体地位之前，肯定论确有抵触刑法谦抑性之虞；二是单位犯罪须在单位意志支配下实施，但单位意志仍由自然人主导，是单位内部成员意志的集中体现且由单位成员具体执行，非在自然人毫不干涉的情况下自主形成；三是单位犯罪的犯罪利益应归属于犯罪单位，但人工智能体缺乏权利主体资格，难以实际拥有“犯行”所带来的“犯罪利益”，也难以为“犯罪”付出相应的“刑罚代价”。事实上，有学者在考察单位责任的实质根据后正确地指出，“各种学术观点中的公司刑事责任，无非是某一部分自然人的责任，即便强调责任的整体性，亦是自然人责任的不同表现形式。公司罪责并非对传统责任论的突破，也当然不能成为肯定机器人刑事责任的根据。”[39]故而，以单位与人工智能体均为无生命体而单位却拥有刑事责任主体地位为由，主张人工智能体应被赋予独立刑事责任主体地位，缺乏令人信服的说服力。
（四）新设刑罚方法难以切实发挥刑罚机能、实现刑罚目的
为防止赋予人工智能体独立刑事责任主体地位但既有刑罚方法却无法有效惩治犯罪人工智能体，肯定论者还特别按照人类刑法所规定的刑罚方法，创造出删除数据等新型刑罚方法，用于惩治犯罪人工智能体，以实现人工智能体罪责自负的要求。然而，这些新型刑罚方法发挥刑罚机能、实现刑罚目的之实际效果并非不值得怀疑。“不论设计何种刑罚措施，基于人工智能特殊的存在形态，任何物理意义上的刑罚手段都无法实现应有的惩罚效果，而从对被害人内心安抚角度审视，当前人们在观念上同样难以通过对机器施加刑罚措施得到心灵上的慰藉。”[40]其实，删除犯罪人工智能体的“犯罪记忆”，能否保证该人工智能体不会如前次犯罪那样重新走向犯罪的道路，毕竟具有深度学习能力的人工智能体能够在算法设计之外自主行动？修改人工智能体的程序如果确有效果，为何不在人工智能体算法设计过程中即修改相应的程序或者径直加入避免侵犯人类或侵犯人类即自动报废的程序要求？按照肯定论者对人工智能体可能脱离人类控制甚至淘汰、奴役、消灭人类的设想，人类是否有足够的能力和实力彻底销毁严重犯罪的人工智能体呢？凡此种种，均需得到肯定论者应有的重视。
事实上，肯定论为规制人工智能“反噬”人类的刑事风险，提出应当修正、解构甚至否定人类中心主义的立场，在人类之外肯定存在其他类型的法律主体，赋予人工智能体特别是强人工智能体以独立性刑事责任主体地位[41]，认为“在智能时代，修正的人类中心主义才是更好的现实选择”[42]，以此破解人工智能体刑事风险现实化过程中可能出现的“责任空白”难题。然而，人类中心主义是人类所建构的各种规范性制度取得最终实效的基本保障和内在缘由，肯定论者主张缓和或修正人类中心主义在相当程度上弱化了人类的主体性地位和价值，是对人类价值与人格尊严的不当放弃，得不偿失，非明智之举。当前，坚持人类中心主义已成为人工智能界的普遍共识，即人工智能研发与应用必须以人为本，以追求并扩大人类福祉为宗旨。[43]人工智能体脱离人类控制严重侵害人类法益的归责方案理应继续坚守人类中心主义的立场，坚持人工智能体的工具理性，意识到人工智能体缺乏人心人性，其外部行动建立于对外部世界客观事实的感知而非价值意涵的理解，是深度学习能力及算法系统驱动下的自动性反应，与人际间社会交往互动存在明显区别。同理，人工智能体对人类法益的侵害既非人工智能体自由意志的外部表现，也不是能够避免侵害情况下有责任地违反规范，而是算法系统运行的必然结果，缺乏被刑罚非难的主体适格性。
四、可能的方案：运用保安处分抗制（强）人工智能体的刑事风险
就刑法作用机制的具体构造来看，刑法对社会关系的规制是借助刑罚方法非难行为人违反禁止性规范主动攻击特定法益，抑或违反命令性规范应当救助却不救助特定法益，其规制理由除侵害法益的特定后果以外，还包括行为人在能够遵守相关规范的场合却基于自由意志选择（有责任地）违反相关规范，即犯罪系行为人自由意志外化的客观结果，是行为人犯罪性人格的重要表现，而刑罚则是对犯罪性人格的正式否定，是对行为人自由意志犯罪性外化的非难形式。
以深度学习为技术支撑、靠大数据“喂养”的人工智能系对人类智能的模拟和仿效，其固然能够借助各种传感器捕捉外部世界的信息变化，并按照预先设定的算法系统作出特定反应，但却只是具备人类认识能力和控制能力以及自由意志的外观，而缺乏人类特有的人格性这一本质要素。“人类与机器人一项重大的道德差异在于机器人缺乏人格性，无法参与在人际关系之中。虽然机器人作为道德主体，在外显的行为表现上可以跟人类一样，甚至更好，但无法享有人际关系理由的事实，代表在涉及到干涉人类自主性的情况时，机器人的行为应当受到比人类更大的限制。”[44]赋予“犯罪”人工智能体独立的刑事责任主体地位，直接追究人工智能体自身的“刑事责任”，貌似是对人工智能体“犯罪”的报应和非难，但此种报应和非难的对象却不是人工智能体能够遵守法律规范前提下“自由”“自主”地选择实施侵害人类法益，并未真正触及人工智能体的“人格性”。
当前，人工智能技术正成为推动社会发展的重要动力，也是我国在现代国际竞争中实现“超车”的重要弯道，理应坦然正视且致力抑制或消除人工智能体带给人类利益受损的刑事风险，充分保护人机交互或人机融合中人类的利益和福祉。前述人工智能体缺乏被刑罚非难主体适格性的理论展开，旨在强调不宜赋予人工智能体独立刑事责任主体地位、径直追究“犯罪”人工智能体“刑事责任”的方式，解决人工智能体自动运行过程中侵害人类法益可能出现的“责任空白”，并不意味刑事反应机制不应介入人工智能体的刑事风险及其归责领域。
在特定行为的刑事反应机制中，刑罚方法系国家对行为人能够实施合法行为的情形下有责任地实施该当构成要件的违法行为所施予的责任报应和非难谴责。“刑罚是以剥夺法益这一形式所体现的责任非难的现实的表现形式。责任是刑罚的基础，并且决定了刑罚的性质。”[45]（P469）依托现有刑事归责理论无法赋予人工智能体独立刑事责任主体地位，难以肯定以刑罚规制人工智能体刑事风险的适宜性，于是放弃对人工智能体直接进行归责，将目光投向社会防卫论以及以此为基础的保安处分，就成为应对人工智能刑事风险的务实选择。对此，有论者借鉴刑事近代学派所主张的社会防卫论，创造性地提出“科技社会防卫论”：“在应对人工智能等科技产品危害社会的风险时，只要有客观危害产生或者有危险存在，对实施了社会危害行为或者有危险性的人工智能就应当适用具有保安处分性质的技术消除措施。”[46]毋庸讳言，为消除客观危险的社会防卫论曾在学术史上遭到批判，但以社会防卫论为基础所构建的保安处分在管控风险、保障安全上超越刑罚（刑事归责）的特殊优势却得到现代刑法的普遍肯认，刑罚与保安处分双轨并行的刑事制裁体系也得到相对广泛的提倡和采用。
在双轨制中，刑罚是在满足报应需要前提下，追求一般预防与特殊预防的双重目的，其以过去的犯罪行为所表现出的责任为基础，通过剥夺犯罪人之法益，实现对具有刑事责任能力者实施犯罪行为的非难和谴责。与此相对，保安处分则仅出于特殊预防的考量，以将来实施严重危害社会的危险性为基础，采用改善、隔离等矫正或排害措施，抑制或消除社会危险性。鉴于“根据犯罪行为的罪责程度而裁量的刑罚，往往不能正确而完整地达成刑法预防犯罪的目的构想”，[47]（P389）作为刑罚补充的保安处分直接针对处分对象的社会危险性，面向将来实施严重危害社会的可能，不涉及对过去严重危害社会行为的谴责或非难等否定性评价，不以具有刑事责任能力为前提，不以犯罪人具有被刑罚非难的主体性资格为必要，[48]（P125）契合了人工智能刑事风险防范的现实需要。同时仅就犯罪预防而言，刑罚是透过剥夺犯罪人的重要法益使犯罪人与普通公众认识到实施犯罪将受到国家的谴责并遭受法益被剥夺的不利后果，进而产生“不敢”或“不愿”实施犯罪的预防效果；而保安处分则聚焦于剥夺犯罪人工智能体的犯罪能力或消灭人工智能体，使之“不能”再犯罪。人工智能体不是可自负罪责的刑事责任主体，其自主运行过程中内在风险及其现实危害难以归咎于人工智能体本身，为此，对人工智能体所施加的“技术性危险消除措施”放弃对刑法上可非难性的考量，专注于消除人工智能体自身的风险，可归入对物保安处分措施的范畴。②
与对具有危险性格的人所实施的保安处分不同，对物保安处分是国家为抗制犯罪或侵害社会的危险，对诱导犯罪发生之物或者过去犯罪残存之危险物采取的预防措施，旨在消除特定物的社会危险性。“如果某种物对公共安全或社会秩序具有危险性，而且从防卫社会的角度出发应予没收的，这种没收就属于保安处分。”[49]（P21）除刑事没收以外，典型的对物保安处分措施还有责令犯罪者提供一定数额财物担保将来不再实施犯罪的善行保证、关闭营业所、解散法人及停止业务等。[50]（P86）破解人工智能体刑事风险及其现实化之危害后果的归责难题，需要应当继续坚守人类中心主义根本立场，根据人工智能刑事风险的独特属性、具体内容并结合刑法的性质任务以及运行机制，探索建立有效且科学地规制人工智能体刑事风险的（对物）保安处分体系。亦即特定人工智能体在自主运行中严重侵害人类并且有证据证实其仍有继续侵害人类危险的，司法机关可在参考专业技术意见的基础上对该人工智能体适用删除数据、修改编程以及永久销毁等技术性危险消除措施。这些技术性危险消除措施绕过人工智能体自身刑罚非难适格性的论争，因专注于消除人工智能体内在之侵害人类法益的刑事风险，确保人工智能运行的安全性，与保安处分具有性质、内容及价值上的同一性。
采用保安处分的方案破解人工智能体侵害人类法益的归责疑难，直面人工智能体内在的技术风险，既有助于摆脱人工智能体侵害人类的责任应当归咎于何种法律主体的纠结，回避以刑罚规制人工智能刑事风险必须具备可非难性的局限，进而为国家公权力介入人工智能体刑事风险的抗制提供理论支持和正当性根据，也有利于督促人工智能体的使用者审慎监管人工智能体的实际运行，及时阻断人工智能体内在刑事风险现实化流程，确保人工智能体始终在安全和值得信赖的环境中得到合理使用。毕竟对“问题”人工智能体采取的技术性危险消除措施必定会构成对使用者正常使用人工智能体不同程度的制约。
结语
鉴于人工智能在增强综合国力、提升国际竞争力以及引领时代发展方面的独特优势，中国已经毫不迟疑地加入了新一轮人工智能革命，并将人工智能技术的研发与运用作为提高经济社会发展智能化水平、增强社会治理能力的重要抓手和强力支撑。然而，“来自未知的力量也让人们有些无所适从，担忧、不安甚至惶恐的情绪，也让人们深受困扰。人们不知道人工智能研究像潘多拉的盒子那样装满了灾难，还是像一部电梯，带着人们通向更高级的人类文明。”[51]（P26-27）不论在现实中还是理论中，人工智能体所蕴含的刑事风险都是制约人工智能发展的重要障碍。人工智能进步价值的充分释放，有赖于包括刑法在内的整个法律体系乃至社会控制体系有力、有效地应对人工智能刑事风险，但人工智能刑事风险防控措施的选择理应准确识别人工智能刑事风险的客观属性以及不同风险防控措施的独特原理，科学把握风险种类及防控措施之间的内在逻辑关联，确保人工智能刑事风险及其归责方案的正当性和实益性，避免将刚走出科幻世界不久的人工智能重新带入科幻世界。
注释
①本文在系统的维度使用“人工智能”的概念，基于人工智能系统驱动的实体则为“人工智能体”，特此说明。
②值得注意的是，保安处分因其处分内容及法律依据的差异，可以区分为刑事保安处分与行政保安处分两类。不过，刑事保安处分与行政保安处分虽然法律属性上存有区别，但二者的实质意涵均为消除或者抑制特定社会风险（人或物），保障社会安全。保安处分刑事性与行政性的固有区别，并不影响将技术性危险消除措施归入对物保安处分范畴的正当性，毕竟对物保安处分与对人保安处分是在处分对象维度对保安处分进行的类型化区分。
[参考文献]
[1]刘艳红.人工智能法学研究中的反智化批判[J].东方法学,2019,(5).
[2]白海娟.人工智能“犯罪”之否定[J].兰州学刊,2020,(8).
[3]王心馨.人工智能威胁人类生存？马斯克又就这个问题和别人吵架了[EB/OL].http://m.thepaper.cn/wifiKey_detail.jsp?contid=7409929&from=wifiKey#.
[4]李怀胜.滥用个人生物识别信息的刑事制裁思路——以人工智能“深度伪造”为例[J].政法论坛,2020,(4).
[5](英)玛格丽特·博登.人工智能的本质与未来[M].孙诗惠,译,北京:中国人民大学出版社,2018.
[6]M.Caldwell,J.T.A.Andrews,T.TanayandL.D.Griffin.AI-enabledfuturecrime[J].CrimeScience,2020,(9).
[7]谢淳,许慧.第四纪思维与认知[M].天津:天津科学技术出版社,2017.
[8]叶良芳.人工智能是适格的刑事责任主体吗?[J].环球法律评论,2019,(4).
[9]刘宪权.对人工智能法学研究“伪批判”的回应[J].法学,2020,(1).
[10]王殿宇.人工智能刑事主体资格之否定及其进路[J].广西大学学报（哲学社会科学版）,2019,(5).
[11]余德厚.从主体资格到权责配置：人工智能法学研究视角的转换[J].江西社会科学,2020,(6).
[12](日)佐伯仁志.刑法总论的思之道·乐之道[M].于佳佳,译,北京:中国政法大学出版社,2017.
[13]陈叙言.人工智能刑事责任主体问题之初探[J].社会科学,2019,(3).
[14]付立庆.积极主义刑法观及其展开[M].北京:中国人民大学出版社,2020.
[15]魏东.人工智能犯罪的可归责主体探究[J].理论探索,2019,(5).
[16]张明楷.增设新罪的观念——对积极刑法观的支持[J].现代法学,2020,(5).
[17]王燕玲.人工智能时代的刑法问题与应对思路[J].政治与法律,2019,(1).
[18](美)迈克斯·泰格马克.生命3.0：人工智能时代人类的进化与重生[M].汪婕舒，译.杭州:浙江教育出版社,2018.
[19]刘宪权.人工智能时代的刑事风险与刑法应对[J].法商研究,2018,(1).
[20]李开复.AI·未来[M].杭州:浙江人民出版社,2018.
[21]郭旨龙.中国刑法何以预防人工智能犯罪[J].当代法学,2020,(2).
[22]周辉.算法权力及其规制[J].法制与社会发展,2019,(6).
[23](美)约翰·弗兰克·韦弗.机器人是人吗？[M].刘海安,译,[M].上海:上海人民出版社,2018.
[24](日)高桥则夫.刑法总论[M].李世阳,译,北京:中国政法大学出版社,2020.
[25]刘宪权,胡荷佳.论人工智能时代智能机器人的刑事责任能力[J].法学,2018,(1).
[26]周铭川.强人工智能刑事责任之否定[J].上海政法学院学报,2019,(2).
[27]江溯.人工智能作为刑事责任主体:基于刑法哲学的证立[J].法制与社会发展,2021,(3).
[28]雷毅.人与自然：道德的追问[M].北京:北京理工大学出版社,2015.
[29]马兆远.人工智能之不能[M].北京:中信出版社,2020.
[30]夏天.基于人工智能的军事智能武器犯罪问题初论[J].犯罪研究,2017,(6).
[31]皮勇.人工智能刑事法治的基本问题[J].比较法研究,2018,(5).
[32]于冲.人工智能的刑法评价路径：从机器规制向算法规制[J].人民法治,2019,(17).
[33]刘宪权.人工智能时代的“内忧”“外患”与刑事责任[J].东方法学,2018,(1).
[34](美)杰瑞·卡普兰.人工智能时代[M].李盼,译,杭州:浙江人民出版社,2017.
[35]DafniLima,CouldAIAgentsBeHeldCriminallyLiable:ArtificialIntelligenceandtheChallengesforCriminalLaw.SouthCarolinalawreview,2018,(69).
[36]马治国,田小楚.论人工智能体刑法适用之可能性[J].华中科技大学学报（社会科学版）,2018,(2).
[37]董玉庭.人工智能与刑法发展关系论——基于真实与想象所做的分析[J].现代法学,2019,(5).
[38]谢玮.网红机器人索菲亚何许“人”也？[J].中国经济周刊,2018,(5).
[39]李本灿.自然人刑事责任、公司刑事责任与机器人刑事责任[J].当代法学,2020,(3).
[40]时方.人工智能刑事主体地位之否定[J].法律科学,2018,(6).
[41]商玉玺,刘三洋.文化、本体与规范：论人工智能的刑事主体性[J].重庆理工大学学报（社会科学）,2020,(6).
[42]孙道萃.智能时代的刑法立法——人类中心主义与现实功利主义的取舍[J].学术交流,2020,(4).
[43]张丽卿.AI伦理准则及其对台湾法制的影响[J].月旦法学杂志,2020,(6).
[44]何宗兴.反思机器人的道德拟人主义[J].欧美研究,2020,(2).
[45](日)野村稔.刑法总论[M].全理其,何力,译,北京:法律出版社,2001.
[46]黄云波.论人工智能时代的刑事责任主体：误区、立场与类型[J].中国应用法学,2019,(2).
[47]林山田.刑法通论（下）[M].北京:北京大学出版社,2012.
[48]曹波.刑事职业禁止制度研究[M].北京:法律出版社,2018.
[49]乔宇.刑事涉案财物处置程序[M].北京:中国法制出版社,2018.
[50](日)川出敏裕,金光旭.刑事政策[M].钱叶六,译.北京:中国政法大学出版社,2016.
[51]周晓垣.人工智能：开启颠覆性智能时代[M].北京:台海出版社,2018.
作者：刘仁文，中国社会科学院法学研究所研究员、刑法研究室主任；曹波，中国社会科学院法学研究所博士后研究人员，贵州大学法学院副教授。
来源：《江西社会科学》2021年第8期。
积极预防人工智能负面效应
信息科技的飞速发展和广泛应用，孕育了“智能社会”这一特定的技术与社会建构及社会文化形态。一种新型的人工智能驱动的经济和社会模式正在由无处不在的数据和算法催生而出，同时也带来了一些法律和伦理问题。互联网、大数据、人工智能等技术的应用，带来的隐私保护、虚假信息、算法歧视、网络安全等问题，引起社会广泛关注。
智能社会面临新的法律和伦理问题
一是人工智能的去主体性可能导致价值属性的消解。人被视为拥有不可替代价值的主体，任何被纳入该群体的人，只需在法律规定主体范畴内，均可获得当然的主体权利。但人工智能由于无法纳入某一确定共同体而获得统一规则化，因而也导致其主体性无法确定。随着技术迭代，由于智能本身缺乏主体性基础，使得其无法作为任何法律规则调整的对象，导致人工智能的道德责任和法律责任基础亦无从确定。同时，人类尽管尚未被人工智能所取代，但随着人工智能介入的加深，人类将越发深陷于技术所编织的罗网之中。技术空间裹挟下的人类则可能产生异化，从而导致个体在原有主体价值属性上的消解。
二是人工智能可能侵蚀原有人类社会基本结构。罗尔斯提出的社会基本正义结构依托于一个稳定的互动结构，即理想化的市场需要保持足够自由来保证参与者的竞争能力，使市场自生自发秩序持续演进的需要得到满足。但如果是高度中心化的人工智能体系，则将主要借助于数据计算中心来支配所有接入要素，数据主义或许将构成“数据巨型机”的意识形态。尽管社会运行效率得到提升，但是“数据巨型机”一旦缺乏限制和管控，就可能造成人与数据间关系破裂，进而可能导致个人自由的隐形丧失，“楚门效应”也将由此产生。
三是人工智能可能带来人类社会基本价值观念与公平正义观的转变。伦理假定的基本价值是现代法律正当性的基础，而随着人工智能介入程度的加深，个体可计算的属性愈加明显，原有的公平正义基本价值将开始从抽象的人格向具体的数字化人格转化，人类原有的社会价值基础通过计算渗透，使得评价的权威由抽象的道德权威转化为具体的人工智能算法，这将动摇现有人类社会法律基础。由于数据交换可能变成新的价值创造源，因此个人数据极易遭到主动吸收利用，个人数据控制和管理的弱化也导致社会生活中不断出现新的伦理冲突与道德悖论，这些都构成了对现行主流社会道德价值体系的冲击。
由于人工智能愈发强大的计算能力和对现有社会结构及价值体系的不断侵蚀，可能导致对个体尊严和形象的入侵、算法歧视上的侵害和自身主体价值的消解。如何规范人工智能、资本与权力的合作，重塑公平正义的社会结构和技术结构，成为亟待解决的问题。因此，应基于科技伦理的调适和嵌入，对传统法律制度进行改造，并且从以社会监管为重要内容的政策体系构建入手，建立以社会理性和科学理性为基本内涵的风险控制机制，从而防范人工智能的技术性风险。
确立伦理标准加强法律规制
法律由于天然内含正义的基因，并通过权威性的制度体系设计反映道德的内在要求，在发挥其自身的价值功用实现人们对公平正义期许的同时，将人的伦理诉求从任意和神秘的领域转化为可以把握和预期的理性王国。技术理性中蕴含的正义要素与其具有一致性，这种价值理性内涵为构建人与技术间和谐有序的图景提供了基础。但是，技术内部无法解决现有技术逻辑与基于理念的正义逻辑间的错位。为此，有必要采取预防性措施应对由人工智能引发的负面效应，并通过风险控制机制和因应性制度对其加以引导，以明确人工智能的主体属性，解决其与现行法律间的根本性冲突，实现从伦理规范、法律规则和政策规定等维度构建制度性、法治化的社会治理体系。
一是确立人工智能伦理道德标准，嵌入人类道德规范体系。道德规范作为特定领域针对特定目的的内化价值追求，能够使人工智能系统受到诸多价值标准和规范的约束，在面临道德过载风险时受到在价值理念上以人为中心的法律的制约。因此，应明确需要嵌入的规范和价值并加以协调，避免道德伦理的失范和法律的失序。为此，应通过建立完整的道德规则和法律规范，促进技术伦理由隐性向显性转化，主要手段包括构建和编写人工智能与人类活动相协调所适用的基本规则。其原则可以概括为：1.人类利益原则，即保障人的权利和自由，强化隐私保护，优化人类福祉和自然环境，寻求科技进步与社会、自然和谐发展的最大公约数；2.责任原则，将人工智能的应用纳入监管范围，通过明确主体责任，识别、预防和减轻负面效应；3.比例原则，设定合理阈值，既要防止高于阈值上限时的道德过载，亦要对低于阈值时的道德负担不足以及阈值过低时的法律规制寻求合理的比例原则；4.正义原则，将社会的伦理原则嵌入人工智能系统，确保算法的透明以避免算法歧视，保障技术权益在社会范围内的公平合理分配。在人工智能价值权重设计阶段，应优先考虑利益相关群体共同分享的价值体系，技术上要满足不同空间和时间下价值和规范发生变化的可能性，保证人工智能设计的伦理价值与人类的规范相统一。
二是加强对人工智能的法律规制。在法律领域人工智能不具有主体资格的前提下，通过围绕人工智能以机器为中心的特性进行制度设计，将正义作为衡量算法公平公正的标尺，从构建人工智能法律规则的维度实现算法的透明性、可解释性，使资源优化配置的功能与价值观负载的制度相匹配。就法律规则整体建构而言，我们可以在弱化复杂伦理困境的前提下构建归责原则，系统考量责任主体确定、多主体责任分担比例、因果关系认定等诸多要素，在立法、司法裁判和法律效果评价环节嵌入伦理性考量因素，进而将具体的道德考量因素转化为可以实施的法律原则乃至法律规则。
三是强化制度创新与政策指引。人工智能在应用于社会治理、提升公共服务有效性的同时，也可能导致相关管理部门与社会间产生“技术鸿沟”。由于算法歧视所导致的非理性决策，以及不同主体对人工智能发展不同程度上不相称的告知、分析、审查和监管能力，使得技术的高速发展容易产生溢出效应，导致社会和公民利益受损。为此，需要加强不同环节中不同主体间的深度合作，建立科学评估与伦理矫正机制。我们应从构建配套管理机制等方面入手，对社会治理理念、技术能力、行动流程等进行治理理论和制度的创新，作出整体性、全局性的战略部署，制定加强产业促进与监管的政策法律，将技术创新上升为“规划理性”的法价值范畴，逐步强化价值发现中人的能动性干预和控制。
随着人工智能的快速发展，一些道德悖论、伦理矛盾和司法困境不断浮现，对现有伦理标准和法律体系带来挑战。科技发展与社会进步在追求效率的同时，应兼顾公平与正义，通过立法等方法，明晰人工智能的相关法律责任制度、明确数据信息保护与隐私权保护、强化涉及人工智能发展的知识产权保护，建立起全流程的立法监管体系。只有重视对控制风险功能的法治化，辅以伦理为先导的社会规范调控体系，以及通过限制机制、禁止机制以及惩戒机制对人工智能的研发、使用和传播加以规制，才能真正使科学技术的智慧之光与伦理的人性之光、法律制度的理性之光共同在智能时代交相辉映。
（本文系中国—上海合作组织国际司法交流合作培训基地研究基金项目（19SHJD017）、黑龙江大学对俄问题研究专项项目（DEY1804）阶段性成果）
（作者单位：黑龙江大学俄罗斯语言文学与文化研究中心、法学院）
人工智能的伦理挑战与科学应对
【光明青年论坛】
编者按
2023年2月21日，中国外交部正式发布《全球安全倡议概念文件》，呼吁“加强人工智能等新兴科技领域国际安全治理，预防和管控潜在安全风险”。在中国式现代化进程中，人工智能的技术革新是助推我国科技创新的重要力量之一。作为最具代表性的颠覆性技术，人工智能在给人类社会带来潜在巨大发展红利的同时，其不确定性也会带来诸多全球性挑战，引发重大的伦理关切。习近平总书记高度关注人工智能等新兴科技的发展，强调要加快提升“人工智能安全等领域的治理能力”，“塑造科技向善的文化理念，让科技更好增进人类福祉”。为此，本版特组织几位青年学者围绕人工智能的伦理挑战与科学应对展开讨论，并邀请专家予以点评，以期引发学界的更多关注，为推动人工智能健康发展贡献智慧。
与谈人
彭家锋 中国人民大学哲学院博士生
虞昊 华东师范大学政治与国际关系学院博士生
邓玉龙 南京师范大学哲学系博士生
主持人
刘永谋 中国人民大学哲学院教授、国家发展与战略研究院研究员
1.机遇与挑战并存的人工智能
主持人：新技术革命方兴未艾，以人工智能等为代表的新兴科技快速发展，大大拓展了时间、空间和人们的认知范围，人类正在进入一个“人机物”相融合的万物智能互联时代。请具体谈谈人工智能给人类社会发展带来什么样的机遇？
彭家锋：人工智能、大数据、物联网、云计算等智能技术蓬勃兴起，对人类社会的方方面面产生深刻影响，推动整个社会逐步迈入智能社会。在此过程中，存在许多重大历史机遇需要我们把握。就技术治理而言，人工智能作为一种治理技术，正在助推社会治理的治理理念、治理方式、治理效能等方面的变革，将传统技术治理提升至智能化新阶段，呈现出“智能治理的综合”趋势。智能治理将全面提升社会公共治理的智能化水平，主要呈现出四个方面的特征：一是治理融合化，即促进各种智能技术与其他治理技术相互融合，大幅度提升智能社会的治理水平；二是治理数据化，即以日益增长的海量数据为基础，通过对数据映射出来的“数字世界”进行社会计算，实现治理目标；三是治理精准化，即发挥智能技术强大的感知能力、传输能力和计算能力，将传统的粗放治理转变为精准治理；四是治理算法化，即不断完善智能决策系统，尝试将程序化的算法决策扩展到更多的决策活动中，从而提高决策质量。
虞昊：人工智能有助于反思人类社会得以建立与发展的基础。随着分析式AI向着生成式AI不断演变，尤其是生成式AI初步展现出判别问题、分析情感、展开对话、创作内容等越来越具有人类特征的功能，原本属于人类的领域正被人工智能以另一套由“0”与“1”构成的计算机语言逐步侵蚀。这既是对人类社会的冲击，也势必会在更加平等的开放性框架中增强人类的主体性，促进人类社会进一步发展。
邓玉龙：总体来说，以人工智能为代表的新科技发展，显著提升了社会生产力。例如，生成式AI不但能完成传统AI的分析、判断工作，还能进一步学习并完成分析式AI无法从事的创造性工作。从人机交互的角度来看，人工智能也促进了生产关系的高效发展。具体表现在：一是刺激劳动形态的转化。人工智能高效承担大量的基础机械性劳动，人类劳动则向高阶的创造性劳动转化，由此引发社会层面的劳动结构转型、升级，并且以人工智能为中介，社会范围内的劳动整合、协调能力也实现升级。二是促进劳动场域的重构。随着劳动形态的转化和劳动的社会化扩展，人工智能将劳动从固定场域中解放出来，人类劳动的灵活性增加。相比于创造性劳动，机械性劳动更加受到空间和时间的制约，而在人工智能从技术层面替代更低边际成本的基础性劳动之后，人类劳动空间和时间的自由性实现跃迁。三是对主体的发展提出了更高要求，尤其是对主体适应社会发展提出了更高要求。人工智能技术的发展对人类传统的知识结构提出挑战，要求人类更新原有的知识结构以适应社会发展需要，也对教育提出更高要求，教育模式和教育内容需要更契合科技发展的水平，培养更加全面发展的人才。
主持人：人工智能的一系列产物在给人们带来生活便利的同时，也一定程度上引起大家对其可能引发的伦理挑战的警惕。一些人关注人工智能的风险问题，对人工智能的推进有些焦虑。如何看待这种警惕和焦虑？
虞昊：人工智能的风险以及由此带来的焦虑，是完全可以理解的。但我们无法返回一个没有人工智能的世界，人工智能已然深度介入人类社会，试图遏制人工智能的推进只能是螳臂当车。同时我们对人工智能的发展也不能放任不管，无视甚至于压制人工智能的推进只能是掩耳盗铃。因此，我们应该正视这种焦虑，在发展人工智能的过程中探求解决方案，在人工智能带来的风险中寻求危中之机。
邓玉龙：我们应正确看待这种焦虑。要看到，焦虑有其积极的意义，它体现人类的忧患意识，催生对人工智能风险的预见性思考，提醒我们注意焦虑背后人工智能技术发展存在的问题。正确对待焦虑有助于积极采取措施防范风险，辩证分析焦虑中先见性的思考，通过社会治理模式的升级化解风险问题。同时，仅有焦虑和恐惧是不够的，更重要的是积极解决人工智能发展带来的社会问题。从劳动的角度看，人工智能确实会取代部分人类劳动，推动劳动结构转型升级，让劳动向着碎片化、个体化方向发展，劳动者处于弱势地位，面临着“机器换人”的挑战。但是我们也应该理性认识到，人工智能不是对人类劳动能力的完全替代，而是对劳动者提出了更高的要求，要求劳动者掌握科学知识，将技术的发展内化为自身能力，在更具创造性的劳动中实现自身价值。
彭家锋：任何技术的发明使用，不可避免地伴随着这样或那样的风险。人工智能技术自然也不例外，在其应用过程中，同样引发了诸如隐私泄露、算法歧视、法律责任等风险问题。因此，关注人工智能的风险问题，并由此对人工智能的推进产生焦虑，具有一定理论依据和现实基础。但更应当清醒地认识到，人工智能的某些相关风险可以提前得到规避，并不必然会发生；即便真的发生，也仍可不断寻求化解风险的有效手段。以个人隐私滥用风险为例，在治理过程中，虽然不可避免地会涉及个人数据收集和分析处理，但可以通过建立完整的规范和监管体系来保护个人隐私，降低滥用风险。
2.人工智能科技竞争的“伦理赛道”
主持人：习近平总书记在以视频方式出席二十国集团领导人第十五次峰会时指出，“中方支持围绕人工智能加强对话，倡议适时召开专题会议，推动落实二十国集团人工智能原则，引领全球人工智能健康发展”。请谈谈“人工智能原则”应包含哪些内容？科技向善的文化理念对推动全球人工智能健康发展具有怎样的现实价值？
彭家锋：为应对人工智能等新科技快速发展带来的伦理挑战，2022年，中共中央办公厅、国务院办公厅印发了《关于加强科技伦理治理的意见》，其中明确了“增进人类福祉”“尊重生命权利”“坚持公平公正”“合理控制风险”“保持公开透明”等五项科技伦理原则。我认为，这五项原则基本涵盖了人工智能原则的伦理要求，彰显了科技向善的文化理念。科技向善的文化理念，根本目标是让科技发展更好地服务社会和人民，带来良好社会或社会公益的善。科技向善对推动全球人工智能健康发展至少具有以下三个方面现实价值：一是塑造公众信任。公众对人工智能的信任很大程度上并不完全由相关风险程度决定，而是取决于公众的利益与价值是否得到足够重视。后者正是科技向善的内在要求。二是引领技术创新。科技向善的文化理念将在技术创新发展过程中发挥价值引领作用。三是促进全球合作。科技向善的文化理念试图在全球范围内建立人工智能伦理规范的“最大公约数”，各国在达成伦理共识的基础之上，能够建立互信，实现更加充分深入的国际合作。
虞昊：个人认为，人工智能原则也应包含非对抗与非失控的理念。非对抗意味着不应将人工智能视作人类社会的对抗性存在，人工智能已经成为人类社会的构成性要素，我们必须持更为开放的态度去面对人工智能。非失控意味着不应放弃对人工智能的伦理规范，应以智能的方式去规范加速发展的人工智能。如果以上述理念为前提，也就是说，在支持人工智能发展的情况下，科技向善的文化理念在推动全球人工智能健康发展中就变得极为重要。此处的“善”在国家治理层面即指向“善治”，而当人工智能的发展从国家范围扩展到全球范围，“善治”就在构建人类命运共同体的意义上拥有了更贴近现实的内涵。各国应摒弃冷战思维与零和博弈，基于善意与友谊共同思考人类作为整体如何在人工智能的冲击下通往全球性的“善治”。
邓玉龙：2019年欧盟发布《可信赖的人工智能伦理准则》，2021年中国国家新一代人工智能治理专业委员会发布《新一代人工智能伦理规范》（以下简称《规范》）。与欧盟发布的伦理准则相比，《规范》体现了中国特色社会主义的制度优势，旨在将伦理规范融入人工智能全生命周期。人工智能发展的根本目的是促进人的全面发展，因此，我以为，人工智能原则还应体现共享和有序发展的要求。共享，旨在防止人工智能的技术垄断。科技发展应该兼顾全体人民的利益，而不是服务于少数群体，由全体人民共享科技发展成果，推动全球科技水平的共同增长。有序发展，旨在防止人工智能技术的无序扩张。人工智能技术的发展最终是为了提升人的幸福感，推动科技有序发展能够促进人机和谐融合，有效预防潜在无序扩张的风险。
主持人：从规范层面来说，伦理反思对规范人工智能发展的作用主要体现在哪些方面？
彭家锋：近年来，世界各主要国家在人工智能领域竞争日趋激烈，纷纷将人工智能发展置于国家发展的战略层面。比如，美国陆续出台《国家人工智能研究和发展战略计划》（2016）和《关于维持美国在人工智能领域领导地位的行政命令》（2019）；欧盟先后发布《欧洲人工智能战略》（2018）和《人工智能白皮书》（2020）；中国也较早发布了《“互联网+”人工智能三年行动实施方案》（2016）和《新一代人工智能发展规划》（2017）。人工智能科技竞争的客观局面已然形成。在此背景下，如果忽视人工智能技术发展所带来的全球性风险与挑战，极有可能陷入技术赶超的竞争逻辑。因此，亟须规范人工智能的科技竞争，而倡导伦理反思或许就是一条可行之路。伦理反思的意义至少在于：一是设定伦理底线。人工智能技术的开发和应用需要遵循一些基本的价值理念和行为规范。只有守住伦理底线，才有可能避免颠覆性风险的发生。二是实现敏捷治理。伦理反思是一个动态、持续的过程，贯穿于人工智能科技活动的全生命周期。为了确保其始终服务于增进人类福祉和科技向善的初衷，需要保持应有的道德敏感性，以灵活、及时、有效的手段化解人工智能带来的各种伦理挑战，确保其在科技向善的道路上行稳致远，实现良性发展。
邓玉龙：人工智能科技竞争是为了促进科学技术发展，而科学技术发展的最终目的是推动人类社会的进步。人工智能科技竞争不应该仅包括技术竞争的单一维度，更不应该通过技术优势遏制他国的科技发展，而应该是在人工智能科技条件下的综合性竞争，通过良性竞争促进全球人工智能和全人类的共同发展。其中就应该包括社会治理竞争，通过社会治理保障社会公平，因而对社会中人与人关系的伦理反思构成人工智能科技竞争的有机组成部分。首先，伦理反思对人工智能科技竞争提出了更高的要求。人工智能的公平性、可信任性、可解释与透明度、安全性不仅是伦理要求，也代表了人工智能技术的发展方向，是人工智能科技竞争需要抢占的技术制高点。科技的发展是为了人的全面发展，因而人的发展内嵌于科技发展要求，伦理反思有助于防止工具主义的泛滥。其次，伦理反思为人工智能科技竞争提供价值引导。伦理反思注重保障人的权利，科技发展并不是社会发展中的唯一衡量因素，我们还应该关注其中多样性的因素，尤其注重保护特殊群体的利益，例如防止数据鸿沟等不良影响。伦理反思有助于实现人工智能的综合性健康发展。
3.人工智能安全与人的全面发展
主持人：科学探究一直以来都是人们认识世界和了解自身的重要认知方式，人工智能等信息产业的革命如何影响着人们的认知方式？
彭家锋：人工智能等信息产业的革命，促进了科学研究新范式——数据科学的诞生，进而对人们的认知方式产生深刻影响。数据科学被认为是继实验、理论和模拟之后的新的科研范式。相较于传统科学，数据科学融合了统计和计算思维，通过人工智能等技术提供的海量数据、强大算法和算力，能够直接从数据中寻找相关关系、提取相关性或者预测性知识，进而产生一种基于相关性的科学思维模式。但这种相关性并不一定能够转化为因果关系，因为可解释性对于从数据科学技术确定的相关性中提取因果解释至关重要，而相关技术一般都缺乏必要的透明度和可解释性。数据科学更可能成为一种预测科学，但是预测并不是科学追求的唯一目标。通过揭示世界的潜在因果结构来解释和干预现象，也是科学的两个重要目标。因此，尽管数据科学能够通过分析大量数据生成相关性知识，却不能直接产生因果解释。对此，传统科学的可检验性假设方法和因果规律探求仍有其重要价值。数据科学并非取代传统科学，相反，两者将相互补充，共同成为人类探索世界的有效工具。
虞昊：显而易见的是，随着人工智能向着通用人工智能迈进，其能够为人们提供的教育资源、生活娱乐、工作讯息也越来越丰富，人们势必越来越依赖于通过与人工智能进行交互来获取外界信息。因此，当人工智能深度地构成人们认知世界的滤镜时，若不对人工智能本身具有重复性、同质性倾向的认知框架保持警醒，人工智能可能扭曲人们的认知方式直至影响人的主体创造性。
邓玉龙：以人工智能为代表的全新技术发展被称为第四次工业革命，其中最显著的特征就是机器与人类的深度融合，机器不再作为一种外在性的工具被人类使用，而是在与人类的深度关联中影响人类的认知方式。一方面，信息产业革命丰富了人类认知的联结方式。人工智能和大数据技术的发展促进人类的分析逻辑从因果关系扩展为相关关系，对相关关系的重视使人工智能可以从大数据而非小数据维度获取信息，为人类认知提供新的视角。按照传统人类认知方式的理解，因果关系要求关于世界的认知是确定性的，而这在数字时代的复杂性社会中很难实现。人工智能对相关关系的认知填补了这一缺失，允许我们在无法掌握确定信息但在掌握大量数据的条件下对未来趋势作出预测。另一方面，如果我们对人工智能等科技的输出结果和生成内容盲目信赖，将结果和内容与经验事实之间进行绝对等同的连接，误认为是事实的全部，那么我们就会丧失人文主义抽象反思的能力，对此我们应当保持警惕，始终坚持反思和批判的人文精神。
主持人：如何调适人的主体创造性与信息高度集成共享之间的关系？
彭家锋：当人们逐渐将更多创造性工作交由人工智能完成，不免让人担忧人工智能是否将会威胁到人的主体创造性。从人机关系的角度来看，这种担忧是基于一种人机敌对论的视角，认为人工智能挤压了人的主体创造性空间，是替代逻辑的延续。但从人机协作的视角出发，将人工智能看作人的得力帮手，通过创造性地使用人工智能可以赋予人类更大的创造性空间。比如，在进行文字写作、多媒体脚本、程序代码、文稿翻译等工作时，可先由人工智能高水平地完成草稿工作，然后再由人类进行一些创造性的调整和发挥。此时人工智能生成的内容将成为进一步创作的原材料，人类将以更高的效率投入创造性活动之中。当然，要实现以上效果并非易事，不仅需要思想观念的转变，还应在制度安排、教育方式等方面作出相应调整。
虞昊：面对信息高度集成共享的人工智能，人有可能转变为算法的动物。试想下述场景：当依据人工智能展开行动变得足够便捷有效时，行动者便会倾向于采信人工智能，此时，看似是人类行动者基于自然语言在进行互动，实则是算法逻辑基于计算机语言在进行数字化运转。于是，人的主体创造性被侵蚀，人可能沦为算法动物。对此类情形，我们应该保持足够的清醒与警惕。
邓玉龙：人工智能技术生成的内容（AIGC）具有高度集成共享的特性，能够高效地对人类知识进行数据挖掘、信息生成。调适人的主体创造性与信息高度集成共享之间的关系，我们需做到如下几个方面：首先，需要通过人的创造性扩大AIGC数据库，当下AIGC主要是依赖于大语言模型，以大量的网络文本作为训练数据库生成的，通过人的创造性生成可以不局限于网络文本，而是进一步扩展数据库的训练文本，从而提高其丰富度。其次，需要通过人的创造性为AIGC提供价值训练，通过人的创造性生成的价值立场、伦理法则等与AIGC的训练数据库相融合，从而建构可信赖、可持续的信息高度集成共享机制。最后，需要将人创造性生成的内容与AIGC共同作为人类知识的来源，人类知识的获得不能仅仅局限于AIGC，而是需要人发挥其主体创造性对人工智能技术生成的内容进行反思和拓展，将人类无法被数据化的、经验性的知识与AIGC数据化的知识融合成为人类知识的来源。
（本版编辑张颖天整理）
《光明日报》（2023年04月10日 15版）
[责编：曾震宇]探索与争鸣｜人工智能在未来社会将有哪些风险与挑战
当前，人工智能浪潮风起云涌，AI时代已经成为现在进行时。就在近日，国务院印发《新一代人工智能发展规划》，将人工智能上升到国家战略高度，描绘出了中国人工智能发展的新蓝图。除了我国之外，国际社会也对人工智能给予了普遍关注，可以说发展人工智能已然成为了全球共识。但是，我们也清醒地认识到，人工智能在为这个时代注入发展新动能的同时，对就业、法律、政治、经济、伦理和安全等诸多领域也带来了新的挑战。
在人工智能“列车”滚滚驶来的今天，我们应当如何应对其带来的风险和机遇；人工智能的技术属性和社会属性如何实现融合；人工智能又会对未来社会造成怎样的冲击，这些都是亟需我们回答的问题。
2017年8月28日，由上海市社联《探索与争鸣》杂志社和华东政法大学政治学研究院共同主办的“人工智能与未来社会：趋势、风险与挑战”学术研讨会在上海社联大楼召开。来自国内知名高校和研究机构的近四十位专家学者以及业界代表齐聚一堂，针对人工智能的发展和应用，分别从技术、法律、政治、经济、人文等不同角度提出看法，展开热烈探讨。
“人工智能与未来社会：趋势、风险与挑战”学术研讨会现场。本文图片 探索与争鸣杂志微信公众号本次会议共设有六个主题，采取主题发言和自由讨论等形式，对人工智能给未来社会带来的风险与挑战进行交流讨论。
一、人工智能对未来的颠覆性影响
中科院自动化所研究员、复杂系统管理与控制国家重点实验室主任王飞跃发言的题目是“智能科技与新轴心时代：未来的起源与目标”，他从宏观历史出发，分析人工智能的发展演变，辨析物理空间与网络空间的关联，并且对人工智能的未来充满期待。著名学者雅斯贝尔斯提出了“轴心时代”的概念，在公元前800到前200年期间，古代文明涌现出许多重要思想家，对文明发展起到至关重要的作用。王教授认为，世界可分为三个部分：物理世界，心理世界以及人工智能（虚拟）世界。每个世界都要有自己的轴心时代，新的世界也要有它的轴心时代。雅斯贝尔斯所言为第一个。第二个轴心时代就是从文艺复兴一直到牛顿、爱因斯坦，代表着人类理性的觉醒。人工智能世界也要有自己的轴心时代，这个轴心时代就是从哥德尔开始。现在是哲学上的突破，再是科学上的突破，下面就要是技术上的突破。就人们普遍担忧的关于人工智能将取代人类工作的问题，王教授乐观指出，人们当前的工作正是依赖机器来提供的，人类向无用阶级转变其实是社会的进步。“无用之用，重用之基”（徐光启《几何原本》）。
上海交通大学科学史与科学文化研究院院长江晓原教授的发言，则对人工智能表示出明确的否定态度。他分别从近期、中期、远期谈了人工智能的风险，表达出忧患意识：“我认为我们正在玩一把非常危险的‘火’。”从近期来看，人工智能引起的大批失业问题，95%的人不工作，5%的人工作，这样造成的财富分配不均，引起社会不稳定；从中期来看，人工智能存在失控的可能，芯片的物理极限，不可拔掉的电源都会引起互联网和人工智能结合后的不可操控；从远期来看，人工智能的终极威胁即人类这个物种会在个体的体能和智能方面全面的衰落，把对世界的管理让给人工智能，它一定是认为把人类清除掉是最好的。”此外，江院长还指出，要考虑最根本的问题是我们为什么要发展人工智能，资本的推动作用显而易见，资本为了增值盲目且不计后果。二、人工智能是人类的福音还是恶梦？
人工智能到底是造福全人类的利器，还是毁掉世界的终极恶魔？北京大学计算机系主任陈钟教授从自己的角度对此进行了一番解读。陈钟教授的演讲主题是“从人工智能本质看未来的发展”。他首先结合自身求学、工作的经历，分享自己关于计算机的观点与看法。然后，陈教授在演讲中依次展开自己关于人工智能的三个重要观点，即“人工智能本质是计算机科学分支”、“数据驱动导致人工智能发展起起落落”和“社会科学与现实的关系比以往更加紧密”。陈教授将理论与实务相结合，帮助大家更好地理解人工智能的本质与发展趋势。最后，他表达出自己关于人工智能的中庸态度，主张要对人工智能进行规制，促使其合规发展。不同于前面几位理工科学者的讲述，中国社会科学院哲学所的段伟文研究员从哲学和人性入手，对人工智能的社会性进行思考。段伟文研究员具有深厚的哲学功底，他以人性为切入点来思考人工智能的危机和未来情境。段研究员指出，机器的使用最终都是与人的能动性有关，他崇尚一种慢科学，要更多地思考人性、伦理，审慎对待人工智能的发展。他的主要观点可以概括为五句话：一是人工智能的发展带来新的权利，二是数据框定时代、算法设定认知，三是人的机器化和机器的人化，四是智能延展认知与人工愚蠢，五是深度科技化（预防性原则和主动性原则）。宽资本董事长、奇点大学投资人关新则从行业实际发展情况出发，直指人类对人工智能的恐惧之处——人是不可能阻挡技术的，技术本身就是洪水猛兽。而人类所害怕的是技术日新月异。他认为，我们今天应该把人工智能和科技革命当做完全不可阻挡的东西，至于人怎么应对，这是挑战人本身的智慧，而不是机器。三、中国在人工智能时代会领跑世界吗？
有观点认为，人工智能的发展，为发展中的中国提供了“弯道超车”的良机。那么，世界范围内来看，AI的研发水平到了怎样的程度？人工智能的进步到了哪一个阶段？中国在这一研究领域是否占有一席之地？根据现在的研究情况，能否对未来的发展趋势进行预测？中国在人工智能时代是不是能够跑在世界前列？这些问题值得探讨。
上海交通大学电子信息学院的熊红凯教授首先做了题为“人工智能技术下对真理和生命的可解释性”的主题演讲。他回顾了人工智能从上世纪五十年代到现在的起起落落，认为人工智能发展中的不确定性和不可解释性是最大的威胁。熊红凯教授演讲之初就提出与人工智能紧密相关的机器学习、神经网络具有很大的不确定性，而人工智能的发展就要解决这些不确定性、不可解释性与因果性的问题。他演讲的重点就是人工智能技术的安全性。人工智能的推动主体是企业与资本，其最大推动力不是算法而是数据，数据的使用就不可避免带来安全性问题。这也是美国大数据医疗一直进展缓慢的原因。一切技术都是以超越人自身为推动力，从这个角度来看，熊教授认为一些人称人工智能技术是洪水猛兽有一定道理。
上海社会科学院哲学所副所长成素梅研究员则对人工智能研究的范式转换和发展前景进行分析和展望。人工智能是计算机分支学科研究出来的，但是从学科性质上来讲，人工智能不是自然科学，人工智能属于技性科学，是科学与技术相互交叉的一个领域，一开始就具有跨学科性。它是要把科学的原理变成技术的实现，倒过来技术的实现又推动了科学原理的解释和发展。人工智能研究者一旦扬弃追求通用人工智能的范式，转向追求在具体领域的拓展应用，人工智能就会走出瓶颈，迎来新的发展高峰。华东政法大学政治学研究院院长高奇琦教授也提出了重要观点，认为中国在人工智能时代有特殊的使命。高教授首先对比了中美两国的优势和劣势，认为中国的优势第一个在于庞大活跃的中国市场，这个市场规模是全球独一无二的；第二个是勤劳勇敢的中国人，让国外感到恐惧的24小时开店、周末不休息；第三，科研队伍和研究水平；第四是中国已经有了一个良好的发展基础。而最大的优势莫过于位置和文化。相比于西方，中国文化具有多元而开放的特点。最后，高教授提出未来发展的四个“智”——第一，跨智，发挥媒体之间的技术优势；第二，众智，利用群体智能；第三，合智，人工智能和人类智能的合作；第四，善智，发展的目的是为了人类的公平正义。“AI就是“爱”，我们研究AI的目的就是让世界充满AI。”
四、人工智能对法律与政府的影响
法律与政府是公平公正的代名词，面对AI在社会众多领域的应用，法律和政府部门工作也在与人工智能接轨，在实践中让AI发挥更大的作用。
四川大学中国司法改革研究中心主任左卫民教授在法律实务领域具有一定建树，他着重从形而下审思人工智能与中国智慧司法的未来。他鲜明地指出AI与法律学者有一定差距，但法律界总体上对AI是相当认同的，上海、江苏以及浙江等地已经将大数据人工智能运用到审判中来，而案多人少的现实背景、对公正效率的需求也需要发展人工智能。左教授接下来向大家讲述法律界对人工智能的运用情况，他以国家开放司法审判书为例指出司法裁判引入大数据对于建构裁判标准具有重要的意义。当然，他也指出裁判文书的过度应用也存在问题，法律具有独特性，很多现实情况很少用到裁判文书。总而言之，左教授对人工智能在司法领域的应用充满信心。“在我看来人工智能向法律提出的问题更具根本性。”上海交通大学凯原法学院郑戈教授列举了人工智能对法律职业和社会管理的种种挑战。郑戈教授主要以“电子人”为例探讨是否建构人工智能的法律人格。他首先从欧洲关于人工智能的法律法规延伸开来，介绍阿西莫提出的机器人“三大律法”，然后详细列举人工智能给法律带来的问题与挑战。人工智能所涉及的伦理和法律问题是这个时代最关键的问题之一，第二个问题是它涉及现代法律体系的基础性概念和思维方式，第三个问题是数据的实际占有者与使用者之间的界限越来越难以判定，第四个问题是过错的判断越来越困难，第五个问题是过错与损害结果之间的因果关系越来越难以确定等。郑教授主张对人工智能进行合理的法律规制，需要法律人和科学家的深度合作。
华东师范大学政治学系吴冠军教授作为政治哲学研究者，着眼于未来社会秩序。吴冠军教授的演讲用人类学机器这个概念阐述自己对人工智能的理解。人类学机器是著名哲学家阿甘本提出的一个概念，他认为人类与动物以及其他事物之间存在分级制度，人与人工智能之间是一种机器关系，上下级的关系。吴教授指出人类学机器是基于人工智能的全新的物种，这个新物种会带来一系列伦理问题、逻辑关系问题，对现实世界产生颠覆性的影响。我们在关注人工智能发展的同时也要关注它的正当性。上海社会科学院互联网研究中心执行主任惠志斌主要探究人工智能应用场景中的法律问题。他认为，人工智能能够联系大量的人、物，在这样一个联网的基础上产生大量的数据，数据通过智能化的算法，这个算法至少目前来看还是由人来设计，由人来去验证，去实施的算法，共同构造智能网络的应用场景，在各种各样的场景里面，医疗领域、环境领域，包括我们的生活等等各种场景里在应用，所以，在鼓励它发展的同时如何去规避危险，如何能按照人类所希望见到的“善智”这样一些方向发展，这是我们需要考虑的问题。还要考虑如何通过一些公共政策，如何通过法律，把它那些可能带来危害的风险点找到，进行规避。他认为，人工智能碰到的法律和经济问题，比如产权版权问题，变成具体服务和产品问题时的责任归属问题等等，要在基本安全的框架内，探讨人类和机器共同协作的方式，保持透明、开放，让人工智能产品在公众的监督之下，而不是随意设置。上海交通大学凯原法学院杨力教授的主题演讲“司法大数据与人工智能的应用前沿”介绍了司法界AI应用的前景。他介绍了法律实务中大数据应用的四套大纲：第一套大纲是AI系统，所有人工智能依赖于数据驱动，在整个司法链条上做到数据驱动最底层工作，一定要把法院、检察院的相关数据打通，这一点非常关键；第二套是在审判环节，审判环节是整个法律中的中心工作。第三套是算钱算绩效，对每一个法官每年能受理多少案件等进行测算；第四套是模拟审判，希望通过三到五年，机器法官（现在还不敢称智能法官）能够承担法院的简单案件。五、人工智能对经济、社会与传媒的影响
上海大学社会学系顾骏教授重点探讨了人工智能研究的“灯下黑”问题。他认为，以往的研究只是将人工智能与人类智能进行简单的比较，人类的自我中心主义让大多数研究者忽略了人类创造物的内在逻辑。他在演讲中主要提出了自己担忧的人工智能发展的八个问题，比如宇宙发展是否会终结人类，人工智能是否会超越人类，人类创造物是否有自主创造力以及机器人如果能够自我进化，那么进化的结果由谁来控制等。顾教授的演讲体现出强烈的忧思。最后，顾教授认为自己关于人工智能的研究只有问题，没有答案，需要更多的人去理性思考。上海师范大学知识与价值科学研究所所长何云峰教授则持乐观态度，站在进化论视角看待人工智能。他认为，人工智能像人类一样，也是不断进化的。人类为弥补自身进化不足不断开发新的机器，所以说人工智能在很早之前就已经开始，这也可以运用康德的“先天知识何以可能”来论证。何教授对人工智能的发展同样充满自信，重要的问题不是人工智能会带来一些风险，人们在前进的过程中可以解决这些，问题的关键是人工智能大量的使用会导致人类进化危机，它比人类摆脱自身束缚更加可怕。何教授最后对人工智能发展做出乐观预测，人工智能越发展，人类从劳动中解放程度越高，人类将有更多时间来学习和提升自己，拥有更多发展机会。复旦大学哲学学院徐英瑾教授演讲的主题聚焦于认知语言学与人工智能伦理学。他认为，在主流的人工智能伦理学研究中，很少有人意识到：将伦理规范的内容转化为机器编码的作业，在逻辑上必须预设一个好的语义学理论框架，而目前主流人工智能研究所采用的语义学基础理论却恰恰是有问题的。徐教授主张在人工智能与人工智能伦理学的研究中引入认知语言学的理论成果，并在此基础上，特别强调“身体图式”在伦理编码进程中所起到的基础性作用，必须严肃思考“怎样的外围设备才被允许与中央语义系统进行恒久的接驳”这一问题。微软亚太科技有限公司副总裁王枫也参加了研讨会，他鲜明地提出：新科技应助力人工智能造福人类。第一，人工智能服务于人类，互联网和各种软件硬件都是由人制造，为人服务，这是前提。微软近期推出的盲人智能眼镜就是在这一前提下产生，帮助盲人实现以前无法做到的事情。第二，他强调，没有数据的人工智能是一个理论和空谈，数据的完整性、专业性和准确性是最基本的。弹性的云计算的应用使得人工智能不再局限与手机管家的简单问答。而与媒体合作过程中，可以看到，通过人工智能感知的技术可以保证视频内容合法合规。此外，微软最近也推出了新的应用——通过云计算和大数据，抓取照片上人的特点，进行人脸识别，用于找寻流失儿童等。王枫副总裁同时表示，人工智能的标准要依托于法律法规和整个地区国家的标准。上海财经大学讲席教授、城市与区域科学学院副院长张学良教授，从经济学框架来分析人工智能的发展与经济学的未来。他认为经济学可以看作是在不确定的世界中找出确定的因素，经济学的研究将人工智能的发展看作要素驱动。第一，从供给与需求上来看，无论是人工智能和产品的出现，还是技术的发展，它所改变的形态是供给侧。第二，从成本与收益上来看，技术的成本我们是否能看到，它往前走一步投入多少成本，用经济规律讲是有约束条件的，企业家的投资一定要带来收益。它背后有一个成本与收益的法则。要用历史阶段性与连续性的眼光看待，让市场来发挥作用。第三，从政府与市场的角度看，政府要防止垄断，做好分配工作，利益共享，在人工智能时代找准自己的定位。第四，从中国与世界角度看，就业与劳动力市场、教育、文明、社会主要矛盾都是需要考虑的问题。六、圆桌大讨论：人工智能会战胜人类吗？
在圆桌会议中，围绕本次研讨会主题，与会专家学者进行了热烈的自由讨论，纷纷提出独到的观点。
华东师范大学历史系王家范教授：今天的这个话题，我觉得有一个前提，毕竟是人在倡导人工智能，人是主体，既然能够倡导也应该能够控制。所谓的道义是什么呢，我认为它所倡导的倡导物本应该是用来帮助人类的，凡是不利于人类，危害人类的都不应该倡导。违反道德基本准则的就是危害人类的，反人类的。在欢呼进步的同时，有必要对后果进行认真的检讨。要认真思考的是不应该只关心利益，人文主义在科技里面应该占有主导地位。如果把史学看作一门人类理解自己的私密工艺——提炼人类的智慧，用来改善人类现在和未来的处境，这一类的史学工艺，人工智能做不了。搞史学的知道，任何一个有名的史学家，他只能做很少一部分，有多少人能把古今中外的文献都整合在一起？我不认同所谓的人类智慧终极论，我认为机器人永远不可能完全胜过人类的整体智慧。上海政法学院文学与传媒学院副院长张永禄副教授：在人文科学里面，机器人写作要解决两大问题，要把认知语言学形式化。非线性的，非结构化的是不能表现出来的。目前最高级的（人工智能）是能写三千字以内的小说，我们知道最好的小说不是单一类型的。河南大学博士后赵牧：许多人对人工智能可能带来灾难后果报有深深的恐惧。这些恐惧毫无疑问是站在人本主义的立场上的，但种种悲观论调却建立在对人和人类社会既有的经验和认识的基础上，并对人工智能的概念带有望文生义的理解。目前的人工智能，还不过是小部分地实现了人脑的功能模拟。人工智能离所谓的智还有着很长的路要走，但人文学的想象力却将它的自我发展想象为即将到来的现实，似乎人为自己的创造物所奴役已经迫在眉睫了。我们当然不能轻易地否定这种忧虑所包含的人文关怀，但它却在无远弗届地想象人工智能的自主性时，对人之为人的属性设定了一个不变的本质。退一万步讲，既便人工智能成为了无机智能而将来之人成为了它的奴役对象又怎样呢？当年没有走出森林的猴子对作为其进化物的人是没有报怨资格的，它们如果有反思能力的话，也只能“求诸己”，而没办法让人再变成猴子。苏州大学凤凰传媒学院院长陈龙教授：我想从批判的视角来看一下人工智能它应用过程中的问题。讲危害和恐惧，为时尚早。首先人工智能发展到现在的状态，让人们产生了忧思，这本身就是现代性的一种表现，发展到极致状态的一种现象。我们知道人工智能现在的状态，未来的状态到底怎么样，它都是处在一个漫长的量变过程。最大的问题，是权力让步的风险问题。厦门大学法学院郭春镇教授：人工智能和人类之间的关系，一个是人与人之间的关系，还有和商业之间的关系。它其实已经不光影响控制我们的行为了，而是公开的，可以得到我们的信息，政府知道我们这么多信息，商业知道我们这么多信息，这样的话我们怎么控制信息的边界？怎么让他们不滥用个人信息的利用？如何界定和控制这个边界，这个问题依然保留。清华大学博士后曹渝：人工智能会怎么走，第一，不必恐惧，因为该来的还是要来的，我们不如齐心协力把人工智能孵化出来，第二，一定要警惕资本权力的界线。我们技术人是有理想的，不要认为这些IT工程师没有意识，人骨子里追求自由、平等、博爱，会超越一切。(本文首发于《探索与争鸣》杂志微信公众号，澎湃新闻得到授权使用，内容有删节。)