如何把控人工智能
图集近年来，随着人工智能技术的快速发展，公众的担忧有所上升。最响亮的声音之一来自于已故的斯蒂芬·霍金教授，他认为人工智能可能会毁灭人类。那么，该如何看待人工智能的威胁？应该采取行动控制人工智能吗？是否要像对待核能和其他潜在危险的技术一样，制定法律甚至是国际条约来控制人工智能的发展？
回答这些问题之前，首先需要明确的是，人工智能的成就目前仍很有限。现在的人工智能系统能够执行20年前计算机不可能完成的任务。比如，现在全世界每天都有数以百万计的人在使用文本自动翻译工具；无人驾驶汽车即将问世，未来10年将出现在马路上；计算机现在比人更善于识别人脸等。尽管这些成就令人印象深刻，但人们还是不知道应该如何使机器具有意识和自我感知。因此，在可预见的未来，人工智能接管世界仍将是科幻小说的情节。当然这并不意味着我们可以高枕无忧。
人工智能系统越来越多地被用于做出决策，这对人们产生了直接影响。例如，银行发现人工智能系统善于预测潜在客户是否会成为优质客户——是否会按时还债等。他们可以通过使用大量的客户记录，来“培训”一个人工智能系统。一段时间后，这一系统将能够分析潜在客户的详细信息，从而预测其是否优质。对于银行来说，可以迅速而低廉地决定是否需要一个特定的客户。但对于客户自身而言，应该会感到担忧：如果银行的人工智能系统在某种程度上存在偏见怎么办？
这就是算法偏见。当前人工智能浪潮的一个特点是，系统无法像人那样，解释或合理化其所做的决定。所以，银行可能会使用人工智能系统来决定不与你做生意，但却不能给你解释原因。这公平吗？银行这样运作合乎道德吗？谁来对这个决定负责？
这些问题不容忽视。一种解决办法是，建议对人工智能技术的使用进行监管。我认为通过一般法律来管理人工智能的使用是不现实的，这似乎有点像试图通过立法来管理数学的使用。一个似乎正在被接受的办法是，如果软件做出了影响你的决定，那么你应该有权知道这个决定是如何做出的，使用了哪些和你有关的数据，标准是什么。我认为这比较合理。使人工智能可解释化和透明化，是当今这一领域面临的最大挑战之一。
在某些情况下，人工智能决策可能直接事关生死，比如在战场上使用人工智能系统。尽管目前还没有证据表明这种“致命性自主武器”已经被使用，但确实已经具备了可能性。过去5年来，人工智能领域的科学家们积极行动，希望政府认识到这一问题的严重性并做出应对。最近英国政府在一份报告中明确表示，永远不给人工智能系统伤害人的权力。
人工智能只是一种技术，就像任何技术一样，可以用来造福人类，也可能带来危害。条件反射式的立法，对于把控人工智能不太可能奏效。我们需要以负责和道德的方式使用人工智能，正如最近全球关于自主武器的讨论取得进展一样，国际社会需要应对解决人工智能带来的挑战。
（作者为英国牛津大学计算机系主任迈克尔·伍尔德里奇）
+1【纠错】责任编辑：许义琛刑法如何应对人工智能带来的风险挑战
姜涛
人工智能并不真正具有意识，也不具有非难的意义和适用刑罚的能力，因此人工智能本身不是刑罚适用的适格主体。但人工智能带来的诸多风险不容忽视，需要强化人工智能的制造者与使用者的规范意识，从刑法教义学上前瞻性地回答人工智能的制造者与使用者的行为与刑法中相关罪名的关系。
人工智能属于人类社会的第四次工业革命，它的快速发展开启一个以新的技术支撑新的社会结构的人类新时代。但从刑法学角度来说，人工智能带来什么样的风险挑战，刑法如何合理应对人工智能，这都需要法律人进行前瞻性思考。
人工智能进入社会生活带来的两重风险
人工智能，顾名思义，就是能够模仿、延伸、扩展人类思维、活动的技术。面对人工智能在全球的快速发展，2017年7月国务院印发的《新一代人工智能发展规划》指出，“在大力发展人工智能的同时，必须高度重视可能带来的安全风险挑战，加强前瞻预防与约束引导，最大限度降低风险，确保人工智能安全、可靠、可控发展。”笔者认为，国务院发布的这一文件对人工智能的定位是准确的，人工智能在给我们带来便利、带来发展的同时，也会带来风险。
一是人工智能技术带来的风险。人工智能目前还未完全成熟，存在许多缺陷。这些缺陷不可避免地会给社会带来一定的风险和严重影响。比如，在光线条件不良的情况下，自动驾驶的汽车可能会因错误识别“减速慢行”标志牌而将人撞死或导致重大财产损失，或者自动驾驶系统故障、没有正确采集数据等原因发生故障而导致驾驶员死亡；无人机进入客机的飞行航线，造成重大安全风险；利用人工智能进行网络性军事攻击；等等。
二是人工智能制造者制造的风险。就企业生产的人工智能产品来说，不仅会使用大量数据，导致公民个人信息等隐私被泄露的风险，可能会被别有用心的人利用实施犯罪，而且可能被利用实施大规模的、极具针对性的高效攻击，构成安全隐患。这样的风险还包括企业违规制造机器人、使用者拒不销毁具有危险的机器人等。如果没有严格的控制，这种风险会辐射到经济、文化、教育等各个领域，带来严重的社会安全问题。
笔者认为，为了适应社会的发展，更好地应对人工智能时代面临的新问题、新挑战，不仅需要回答人工智能有无刑事责任能力问题，而且需要从刑法教义学上对人工智能涉及的犯罪有所解答。
人工智能不具有刑事责任能力
人工智能对刑法的挑战首先在于归责。许多人对人工智能是否具有刑事责任能力展开了讨论，有肯定论与否定论之分。
通过对人工智能发展的梳理不难发现，人工智能虽然“神奇”，但是离不开两个必需的条件：一是人工智能离不开大数据的支持。没有足够的数据作为训练样本，人工智能就无法发现自身算法的漏洞，没有机会对算法函数进行修正，产生错误就在所难免。二是人工智能离不开运算能力的提升和深度学习框架的构建。深度学习框架对于人工智能具有重要意义，它的原理是构建多层人工神经网络，借助神经生理学的知识模拟人类的神经活动，然后输入大数据进行训练、学习，根据训练得到的结果重新设置参数向正确结果拟合，最终实现模拟人脑的功能。大量的计算和固定的框架导致人工智能更擅长处理有规则性的事务，不过一旦规则改变，情况就大不一样。这对人工智能能否作为归责的主体具有重要意义。笔者认为，尽管当前还处于“弱人工智能时代”，人工智能的未来发展图景尚不能确定，但是从目前来看，人工智能仅是一种帮助人类完成那些有规则可循的重复性工作的工具，并不具有真正的意识，也就不应当具备刑事责任能力。
其一，人工智能并不真正具有意识。从研究现状来看，人工智能主要由人类预先设置好处理步骤，再通过大量计算得出不同决策的得分，根据得分的高低选择何种行为。人工智能虽然看似能够像人类一样自主决策，但是这些决策都是在设计者预先设定的算法框架下得到的，所谓的“自主性”也仅仅是不同决策间的选择，人工智能并不具有人的智能所有的通用智能，没有对刑罚的感受力和自由意志。
其二，人工智能不具有非难的意义。刑罚处罚是一种文化现象，人类社会延续至今所形成的生命刑、自由刑等之所以有效，是因为罚与被罚都能够以被感知、传递的方式来呈现，从而对被破坏的社会关系予以恢复，从而改变人们的认知，让犯罪的被害人满足报应情感，让犯罪者产生悔意，让社会民众感受到惩罚的威力、必然性等。如果惩罚不能满足这类情感需要，则处罚是没有意义的。人工智能是一种信息技术革命的产物，自身不能感知到刑事处罚的意义，惩罚机器人不如直接废弃或销毁更有社会意义。更何况，通过刑罚措施不能够消除人工智能带来的风险，也不能实现预防再犯的刑罚目的之期待。
其三，人工智能不具有适用刑罚的能力。刑罚作为一种对他人生命、自由等权益的剥夺，是否适用，必须要考虑被处罚对象的刑罚能力，这是预防犯罪的需要。这种刑罚能力与被处罚人的自由意志有关，目的在于使被处罚人认识到处罚带来的痛苦，以痛改前非，重新做人，从而消除再犯罪的危险。从自由意志角度来看，人工智能的价值性体现在工具上，它的自由意志是拟制的、虚拟的。从刑罚能力的角度来看，人工智能作为一种工具，本身并没有自由或者财产，而是设计者或者使用者的一种财产，无论是自由刑还是财产刑都不能对人工智能造成损害，刑罚真正能够发挥其震慑、惩罚犯罪的功能只有在设计者或者使用者身上才能实现。
人工智能的刑法教义学解答
既然人工智能会带来诸多风险，造成刑法所保护的法益遭受破坏或具有被破坏的危险，而人工智能本身又不是刑罚适用的适格主体，这就需要强化人工智能的制造者与使用者的规范意识，从刑法教义学上前瞻性地回答人工智能的制造者与使用者的行为与刑法中相关罪名的关系。
“企业的保证人义务”与拒不履行信息网络安全管理义务罪。企业应从人工智能技术的训练就开始遵循审慎规则，对可能产生的危险进行识别、处理，履行保证人义务，保证设计出的人工智能技术是安全、无瑕疵的。如何附加保证人义务，可以参考民法上的规则，设计的人工智能技术必须经过大量、充分的实验测试，确保不会对他人的人身或者财产安全造成损害，才可以投放市场，否则认定为未履行保证人义务；对于已经投放市场的人工智能技术，需要跟踪关注安全状况，及时召回具有缺陷的技术产品，并对已经造成的损害进行赔偿。如果不履行保证人义务，可以纳入刑法的规制范围。具体而言，不履行保证人义务致使人工智能扰乱网络秩序、影响网络安全的，可以视为企业作为人工智能服务的提供者，而未履行信息网络安全管理义务，适用刑法第286条规定的拒不履行信息网络安全管理义务罪进行定罪处罚。此外，不履行保证人义务致使他人人身或者财产遭受严重损害的，可以视为未履行危险源的管理义务，从而构成相应犯罪的不作为犯罪。
“企业的监管失灵”与非法经营罪之兜底条款的扩大解释。人工智能是一个风险与利益并存且专业性较强的行业，要从事这一行业，就要对企业的研发能力进行评估、审核，给评级合格的企业发放人工智能技术的经营许可证，禁止评级不合格的企业从事人工智能的研发工作。同时，结合事前和事后审查，建立人工智能的产品许可与监督制度。事先审查，由专业机构根据相关安全标准对人工智能中数据、算法实现的功能以及可能存在的风险进行评估，给评估合格的产品发放生产、销售许可证，保证人工智能设计上的合法性与安全性。事后审查，采取登记制度，记录人工智能技术的设计者、使用者的信息及其主要功能。改变主要算法使得功能产生实质性变化的，需要进行功能变更登记；转让人工智能技术的，需要进行使用者信息变更登记。对违背经营许可制度、产品许可与监督制度的企业，适用刑法第225条第4项非法经营罪之兜底条款定罪处罚，当然，前提是制定相关的司法解释。
“用户的数据”与侵犯公民个人信息罪。用户的数据是公民的个人信息，属于用户自身。人工智能在挖掘分析大数据时，不能忽视对公民个人信息的保护。虽然现行法律对个人信息的界定以及保护已经有了明确规定，如民法总则第111条、网络安全法第41条以及两高发布的《关于办理侵犯公民个人信息刑事案件适用法律若干问题的解释》第1条等，但目前纳入“公民个人信息”保护仅指能够识别特定自然人身份或者反映特定自然人活动情况的各种信息，包括姓名、身份证号码、联系方式、住址、账号密码、行踪轨迹等。笔者认为，对公民个人信息的保护范围应当扩大，如用户行为习惯，公民经常搜索有关金融理财的内容，于是金融理财产品的链接开始频繁出现在浏览的网页上，原因是用户的搜索记录被分析出具有理财的倾向。类似的信息被泄露虽不会对公民人身、财产安全产生威胁，但被过度分析会侵犯公民的隐私空间，使公民生活透明化。对此，应当摆脱公民人身、财产安全的限制，将个人隐私以及其他对公民生活具有重要影响的信息也纳入刑法有关公民的个人信息的保护范围。对未经允许擅自挖掘、利用用户个人信息造成严重后果的行为，可以适用刑法第253条侵犯公民个人信息罪定罪处罚。
“拒不销毁”与以危险方法危害公共安全罪。降低人工智能风险，除了规范人工智能企业的活动之外，还要关注违法使用（主要是个人）人工智能技术的现象。随着人工智能的发展，逐渐大众化是人工智能未来的趋势。当这些人工智能产品被违法使用时，就要将涉嫌违法犯罪的人工智能产品没收然后销毁。拒不销毁的，可以适用刑法第114条以及第115条以危险方法危害公共安全罪定罪处罚。这样解释的理由是：（1）从近年来发生的无人机致使飞机暂停降落、自动驾驶汽车因错误识别道路标志撞死行人等现象来看，人工智能产品具有高风险性，会对不特定多数人的人身、财产安全产生严重影响，这符合以危险方法危害公共安全罪的法益保护范围。（2）以危险方法危害公共安全罪是自然人犯罪，主体只能是自然人。与企业不同，公民个人在违法使用人工智能产品的情况下，可以成为以危险方法危害公共安全罪的主体。
（作者为南京师范大学中国法治现代化研究院教授）
医学领域的人工智能
医学领域的人工智能是使用机器学习模型搜索医疗数据，发现洞察，从而帮助改善健康状况和患者体验。得益于近年来计算机科学和信息技术的发展，人工智能(AI)正迅速成为现代医学中不可或缺的一部分。由人工智能支持的人工智能算法和其他应用程序正在为临床和研究领域的医学专业人员提供支持。
目前，人工智能在医学领域中最常见的职责是临床决策支持和医学影像分析。临床决策支持工具可让医疗服务提供方快速访问与其患者相关的信息或研究，从而帮助他们制定有关治疗、用药、心理健康和其他患者需求方面的决策。在医学影像方面，人工智能工具可用于分析CT扫描、X射线、核磁共振影像以及其他影像，以找出人类放射科医师可能会错过的病变或其他检查结果。
新冠病毒疫情为众多医疗系统带来严峻挑战，而这也促使全球许多医疗卫生组织开始实地测试人工智能支持的新兴技术，比如旨在帮助监视患者的算法以及用于筛查新冠患者的基于人工智能的工具。
这些测试的研究和结果仍在收集过程中，且有关在医学领域应用人工智能的总体标准仍在制定过程中。但人工智能已经让越来越多的临床医生、研究人员以及他们所服务的患者从中受益。在这个角度来说，人工智能无疑将成为数字化医疗卫生系统的核心，为现代医学的形成和发展提供支持。
探寻生成式人工智能算法规制的思路
5月18日，第七届世界智能大会在天津开幕。大会期间举办开幕式、高峰会、平行论坛、智能科技展、智能体验等系列活动。智能科技领域的院士专家和企业家聚焦智能网联车、生成式人工智能、脑机交互等前瞻课题，深入探讨AI与经济、社会、人文等领域的热点话题。新华社记者孙凡越摄
近日，由中国人民大学法学院、中国人民大学未来法治研究院主办的“生成式人工智能算法规制——《生成式人工智能服务管理办法（征求意见稿）》学术研讨会议”召开，来自政府相关部门、高校研究机构、人工智能产业界的专家参加了本次研讨会。
■中国人民大学未来法治研究院执行院长张吉豫:
可以以发展、安全和法治三个关键词概括对ChatGPT为代表的大规模语言模型的系列关注。第一，生成式人工智能技术是划时代的发展，大模型在互联网、数据等架构上可能形成新的层次，深刻影响产业的发展和未来技术的进步。第二，从数据、算法、系统集成等角度来看，生成式人工智能的发展、创新中伴随着风险与挑战。第三，为调节好发展和安全之间的冲突，构建以人民为中心的智能社会法律秩序，对于推动人工智能技术健康有序发展具有重要意义。
■百度公司副总裁吴梦漪:
结合《生成式人工智能服务管理办法（征求意见稿）》的几个看法：一是将开放API和通过API调取功能认定为内容生产者可能提高了对合规义务的要求。二是将生成式人工智能认定为具有舆论属性和社会动员能力的互联网信息服务，可能泛化了适用范围。三是从实践的角度，内容生成的准确性与生成式人工智能技术原理存在冲突。因此，初始阶段监管层面的重点应从追求内容准确性转向对违法利用行为的打击。四是需要辩证看待数据的好坏。生成式人工智能具有一定的创作性，海量的训练数据有利于提高技术的发展速度，希望监管的重点在于生成式人工智能产品的质量，不宜对训练数据和技术路线做过于详尽的规定。五是综合考虑生成式人工智能服务的人机对话特点，简化对真实身份信息要求的规定。
■腾讯研究院首席数据法律政策专家王融：
对生成式人工智能的规制的几个建议。第一，生成式人工智能可能是未来新的信息时代最为基础的工具，超越了单纯的互联网信息服务，应以全新视角去看待。第二，制定规章是必要的，但是目前法律规范本身可能还需要进一步讨论新的问题；输出信息的质量方面有很强的市场自驱力；而大模型时代的底层网络安全和数据安全，发展更为优先。第三，三个月的模型优化训练期限在实践中难以落地，不妨考虑其他多种技术手段。最后，在AI发展领域，风险浮现是渐进式的，市场主体和监管主体应在共同目标和接近的立场下协同解决问题。
■中国人民大学法学院教授王利明：
应正视ChatGPT引发的问题，思考法律上如何积极应对。首先，面对生成式人工智能引发的人格权和知识产权方面的问题，立法过于超前可能会阻碍技术的发展和创新，通过发布管理办法或制定相关措施积累经验，条件成熟后再立法可能是相对稳妥的办法。
对ChatGPT引发的侵权问题，提出五点建议：一是在价值取向上积极支持人工智能产品的开发。二是ChatGPT不同于自动驾驶等一般产品，让服务提供者承担无过错责任会阻碍技术发展，不符合鼓励技术创新的价值取向。三是可借鉴医疗事故责任的减免规则，因技术水平限制而导致难以消除的漏洞时，可以适当减轻甚至免除服务提供者的责任。四是加强和强化服务提供者对个人隐私信息的安全保障义务。五是关于ChatGPT的幻觉回答导致的侵权责任分配问题，应区别平台大规模生成与用户恶意诱导的情形。
■中国社会科学院大学副教授刘晓春：
从四方面提出监管的建议。一是监管必要性，若在新技术场景下，原有体系能解决大部分问题，就缺乏专门规制的必要性。生成式人工智能的重要风险点在内容层面，如果生成的内容没有传播，是否存在风险仍存在疑问；如果已经传播，则要考虑原有的治理系统是否能够解决问题。二是监管有效性，其核心问题是公权力对产业的治理或干预是否能真实、有效地达到基于监管必要性的风险治理目的。三是结合我国现有产业背景考虑监管技术的应用场景。未必每个企业都研发大模型，但是在应用层面具有各自极大的拓展商业的可能性，应为应用层面的商业模式留出发展的空间。特别是在对内容生产者的定义上不应拓宽。四是从立法基础的角度考虑协调性。比如，在实名制问题上与网络安全法相协调，在算法的评估和备案问题上，也应基于现有的机制协调。
■对外经济贸易大学副教授许可：
《生成式人工智能服务管理办法（征求意见稿）》与之前的法律、现有的实践和技术存在四大矛盾。第一，新法和旧法的矛盾。《互联网信息服务深度合成管理规定》中的深度合成技术和《生成式人工智能服务管理办法（征求意见稿）》中的深层次人工智能技术之间有何异同尚不明确，未来执法过程中可能产生矛盾。第二，域外效力和属地管辖之间的矛盾。《生成式人工智能服务管理办法（征求意见稿）》涉及的内容超出了《个人信息保护法》覆盖范围，部门规章是否能设立超出上位法的域外管辖权存在疑问。第三，网络信息内容安全管理和通用技术规制之间的矛盾。将通用性的人工智能限制在网络信息内容上，可能出现规制工具和规制目标的不匹配。实际上，在不同的场景下，生成式人工智能的风险因形态而异，如何判断其风险，需要模块化判断。第四，全流程安全要求和技术内在特征的矛盾。全流程的管理和生成式人工智能的特性不符，例如，预训练数据的合法性难以实现，数据与最后信息生成之间也并不存在直接映射关系。
■对外经济贸易大学副教授张欣：
在监管对象上，我国的人工智能企业此前多集中在应用层，在基础层和技术层分布相对较少。在监管方式上，面向生成式人工智能的产业链特点，可以提升监管的互操作性、一致性。在监管创新上，一方面应注重监管的韧性，另一方面应积极探索以模块化监管为代表的新型监管方式。对《生成式人工智能服务管理办法（征求意见稿）》的四点修改意见：第一，进一步厘清第2条对“生成式人工智能”的定义。第二，面向产业链特点明确第5条中“产品生成内容生产者”的范围，不宜通过一刀切的方式让所有行为主体都承担产品内容生产者的责任。第三，第7条关于预训练数据和优化训练数据来源的准确性问题可以适当调整，只要在可接受的技术水平条件下，组织和企业履行了相应义务，可认为符合人工智能准确性原则。第四，第15条关于防止再次生成的期限和防止再次生成的方式聚焦于技术过程，目前的技术手段上难以达成，可以转换为从结果监管的角度防止被用户举报的不合法合规的内容再次出现。
■中国人民大学法学院教授万勇:
在生成式人工智能对著作权法合理使用制度的挑战方面，生成式人工智能可能涉及著作权法上的复制权、演绎权和向公众传播权。但是，目前的合理使用类型难以适用于人工智能技术。其次，为了解决相关的问题，应人工智能产业发展的合理使用制度改革，主要有两种解决方案：一是重塑理论基础，提出“作品性使用”与“非作品性使用”的概念，为了数据挖掘目的而使用作品，只有部分情形属于“非作品性使用”；二是改造制度规范，包括增设具体例外条款或引入开放式例外条款。建议修改《著作权法实施条例》，引入专门例外，兼顾产业发展和著作权人的权利。
■中国人民公安大学法学院教授苏宇：
处于追赶中的国内生成式人工智能在风险治理之外也非常需要制度支持。生成式人工智能大模型面临算法解释难、算法审计难、算法标准形成难、算法影响评估难、算法认证难等问题。《生成式人工智能服务管理办法（征求意见稿）》的主要考量问题是信息内容安全问题，在安全保障方面设计了“六重叠加”的机制，包括输出端的生成结果控制、输入端的数据来源和数据信息内容限制、扩展的内容生产者责任、用户举报与主动监管结合、宽泛的信息提供义务、与算法推荐和深度合成等已有立法的有限衔接等。其中部分机制存在不同程度的安全冗余。除此之外，还有需要充分考虑的治理要点，包括生成代码的单独归类、训练数据的必要区分、输出结果的类型提示、数据来源合法性的具体界定等。总体来说，对生成式人工智能的法律治理，大幅度降低无效或低效风险冗余应当是机制设计的重要目标。
■中国信通院高级工程师程莹：
生成式人工智能第一大特点是通用目的性。作为新底层基础平台，AIGC供应链被拉长，研发者是否应承担责任，研发者、平台方、B端用户、C端用户等如何分担责任成为关键问题。征求意见稿第5条应对各个主体进行精细划分。第二个特点是内容生成性，带来了知识产权、虚假信息等问题。未来生成式人工智能代表了知识调用方式的变迁，将掌握绝大多数信息来源，相较于深度合成的重点标识义务，负有更高算法评估、自我审查等义务。然而，一刀切要求训练数据和生成结果的真实性可能与生成式人工智能的技术本质存在一定冲突。第三个特点是数据依赖性，这是人工智能一直以来的典型特征，但是呈现了新的形式，例如中文语料库输入不足带来的文化偏见、数据虹吸效应带来的数据泄露风险等，相关法律义务应注意保持与上位法要求的一致性。
■中国科学技术信息研究所助理研究员刘鑫怡：
英国的监管框架是基于人工智能应用场景来规范人工智能应用，而非规范人工智能技术，并不为整个行业或技术设定规则或风险级别。在监管依据上，在不确定的技术应用和治理中探索可量化、可定性的成本收益及影响，这对我国监管政策的出台有启发意义。在目前的大模型监管上存在难点。主要包括三方面：一是技术的局限性导致目前难以达到治理的高标准；二是大模型治理的方式和限度难以把握；三是目前多样化治理工具没有完全发挥作用。随着多模态大模型的研发和广泛应用，未来的风险问题会逐步深化。建议在统筹发展与安全的基础上，构建全生命周期的差异化监管机制，加强人工智能重点领域关键环节监管。同时倡导“以技治技”，开展安全可信技术的治理。（金灿）