陈卫东教授：法律人工智能的技术、理论与应用问题 人工智能下的法律问题

陈卫东教授：法律人工智能的技术、理论与应用问题

法律人要想理性认知法律人工智能这一新命题，首先要对目前法律领域大数据和人工智能的进展状况有一个清醒的判断，要尊重它的复杂性和阶段性。虽然人工智能技术的发展速度令人惊叹，但是不得不说，理论上的可能性和技术上的可行性之间依然存在不小的鸿沟。

根据智能机器与人类自主意识的对比关系为标准来划分，人工智能的发展为三个阶段：“弱人工智能”“强人工智能”和“超人工智能”。

整体来看，智能机器的研究和应用基本上处于“弱人工智能”阶段，其主要功能是进行信息的高效处理，在法律领域的应用主要是法律信息检索系统和法律专家系统。“强人工智能”是智能机器下一步的发展方向，它的出现意味着对人类思维的模拟和再现，其得以运用认知和推理等通用功能来分析问题、判断价值和学习创作。而在“超人工智能”阶段，智能机器的智能高度将超越人类水平，智能机器得以自我复制和提升智识。

但是，后两个阶段的“奇点”来临还只是未能证实的科学猜想，盲目的担心或者过分的期待都是一种不严谨的技术认知。立足于“弱人工智能”的阶段，我们所要关注的应当是在技术上限的允许范围内，挖掘智能技术在司法应用中的应然价值，避免技术认知错误将司法业务引向歧途。

在弱人工智能阶段，“有多少人工，才有多少智能”，法律行业应用人工智能的时候，应当正视技术本身的优势以及它当下的瓶颈。

客观地说，当下的人工智能在可形式化的、可表征化的数据处理方面，确实有着人类无法比拟的强大能力，而且这种优势正在不断扩大。在严格按照数字逻辑规则进行推演的事务性或技术性工作方面，人工智能的应用成效十分显著，如法律文本分析、司法数据提取与数据结构化、基础法律知识咨询等。

但是其劣势也显而易见，由于计算机对“表征”机制极为依赖，所以它不能具有人的非表征与非形式化智能（比如直觉性或经验性知识），只能根据设定的程序机械化进行，无法兼顾其他因素，虽然逻辑性强，但是过于平面化，感应、认知、反应和创造的能力尤为欠缺。

因此，在包括事实认定和证据审查在内的司法实质性事项上，由于这些法律行为涉及诸多价值选择、直觉判断、学理分析等主观因素，这些智能活动依然仰赖于司法官的个人能动。可以说，非形式化的、不可表征的智能活动，不仅是阿尔法Go、深度学习以至人工神经网络的极限，也是可预见的弱人工智能发展的极限。

此外，当下人工智能的技术局限在司法领域还有着特殊的表现形式。人工智能技术的三大核心要件是“数据集合、智能算法和运算能力”，硬件性能的不断提升对于保证机器智能的运行速度已不成问题，但是在数据和算法方面机器智能还存在诸多技术应用上的争议。

首先，绝大部分人工智能算法都是一个“黑箱”系统，对于智能系统的算法模型，司法官乃至公众无法完全知道其内部结构和输出原理。

因此，“黑箱”系统的不透明性使得智能算法的结果在司法这一特殊领域受到很大质疑，这与司法公开原则形成冲突。而且，算法在本质上是一种概率模型，寻求的是统计学意义上的最优解，这种输出模型很可能由于缺乏对于案件特殊性的考量，而导致算法结果与法官的直观判断相背离。

其次，人工智能的本质是根据数据建立的统计模型，它的算法以大数据为依托，因此数据的完整性和真实性至关重要。

以大数据研判为例，当前的数据大多来源于公开裁判文书，但是很多裁判文书说理过于简单，真正记录法官分析过程的合议笔录等内部文件不对外公开，研发人员难以获取和使用这些裁量要素，信息的不完整将导致智能系统的算法和输出结果缺乏相应的可靠性。而且，在关乎司法数据质量的甄别、清洗和筛选上，法律人工智能还有很大的提升空间。

应当说，相关技术的阶段性和局限性，决定了法律人工智能应谨慎涉足对案件决断有重大影响的证据审查、事实认定、法律说理等司法核心事项。

二、开发司法人工智能产品的理论边界问题

法律人工智能的研发和应用涉及很多复杂问题，这不仅有技术工程上的原因，更有深层次的理论上的原因，即人工智能所依赖的理论假设问题。法律人工智能以形式理性主义为理论基础，它把法律规则和法律逻辑均推定为明确的、可数据化和可表达的对象。

司法公正来源于司法理性，而司法理性包括形式理性和实质理性两个层面。

在推理方面，形式理性主义认为，法律推理应该依客观事实、明确的规则以及逻辑去解决一切为法律所要求的具体行为。假如法律能如此运作，那么无论谁作判决，法律推理都会导向同样的判决。形式理性要求判决是根据主观上不可控的方式作出的，所依据的标准不以人的意志为转移，只反映法律规则本身及法律逻辑本身。这一特点决定了形式理性主义的应用范围是规则明确的、不存在核心争议的简单刑事案件和可程式化的诉讼事项；而且在处理司法事务性、程序性工作方面，形式理性集中体现着程序正义的理念，强调执法标准的统一，通过排除人为因素干扰来保证司法的规范化。因此，以形式理性主义为理论基础的法律人工智能系统，其业务范畴可以拓展至所有案件的事务性工作和简单案件的推理工作。

司法的实质理性在推理上强调司法的能动性，要求司法官在遵循基本的程序性规范的基础上综合考虑与案件有关的主客观因素，发挥其在价值选择、理论研判、经验总结乃至直觉判断上的主观作用，这一点在疑难复杂案件的推理程序中有直观体现。机器对人的辅助是为了让司法决策成为一个稳定的理性决断，“人机协同模式”就是为了预防机械裁判使得形式理性主义极端化。当机器没有思维或者缺乏实质理性时，它在司法领域的应用都应当是人机互动的协同模式。如果让人工智能法律系统超出其应然的业务范畴而全面应用于所有类型案件，甚至在很大程度上取代司法官的实质性推理工作，那么就有可能把司法权引向歧途，即导致算法支配司法。

以形式理性为依托的法律人工智能，在简单刑事案件的推理工作和所有案件的事务性工作中“纵横捭阖”的同时，不能突破自身的业务范畴而对司法的实质理性造成侵害，尤其是不能以追求效率为代价牺牲司法能动价值在复杂案件和争议事项中的决断作用。否则，马克思韦伯对形式理性化所带来的“自动售货机”式司法机制的担忧，对现代法治的“非人格化”操作的批判，在人工智能时代就可能化为现实。

三、人工智能在辅助量刑中的应用问题

从世界范围内看，信息化技术最先被用来预测犯罪、追踪线索、案情监控、物证分析等数字化、智能化需求较为明显的侦查事项中，而后又被引入到保释和量刑等司法事项中，用以评估人身危险性系数和刑罚的精确性程度。

我国司法业务智能化的实践探索最早发生于量刑领域，而后发生于作为司法核心活动的证明领域。新的时代背景下，以检察主导为核心指向的检察理论不断创新发展。可以预见，在未来很长一段时间内，检察官在审前程序中的主导作用会逐步强化。

一方面，认罪认罚从宽制度正式入法，使检察机关在解决认罪案件的量刑争议中发挥关键作用。另一方面，以审判为中心的刑事诉讼改革使庭审对于证据规格的要求不断提升，也迫使检察机关在完善刑事指控体系中必须强化主导作用。可以说，理论创新与科技应用的有效结合，必然带来令人期待的实践价值。

第一，人工智能与量刑程序相结合的问题。

早在上世纪九十年代，我国就有学者开始关注计算机量刑的研究可以，旨在解决司法实践中普遍存在的量刑偏轻偏重问题。但是，第一代量刑辅助系统从它诞生之初就倍受争议。

不少学者认为，此类智能产品把量刑逻辑给绝对客观化和程式化了，把量刑程序推定为直白的数字运算，这种做法既忽略了刑法的社会性功能，还容易把包括情节严重、性质恶劣、显著轻微等描述性因素推定为可表达、可量化的机器代码，这显然与司法能动的要义背离。在类似的质疑声中，量刑智能化建设被赋予的量刑改革的希望搁浅，司法智能化的热潮暂时退去了。

随着信息科学技术的突飞猛进，大数据、深度学习、神经网络等核心技术异军突起，促使人工智能在更深层次、更大范围上进军司法领域，发生了新一轮令人欣喜和期待的“化学反应”。与此同时，以量刑建议为核心事项的认罪认罚从宽制度不断推进，量刑规范化问题备受关注。多地法院、检察院联合高科技公司，自主探索、研发了一批功能显著的量刑辅助智能系统，辅助量刑的智能化动向和需求开始受到各界的广泛关注。

为了避免量刑辅助智能化系统的研发再次遭遇以往的困境和质疑，必须认识到，量刑所要解决的主要问题不只是统计、分析和计算，还应考虑如何对影响量刑的所有因素进行综合考量和平衡，最后得出对被追诉人最适当的刑罚。

在认罪认罚从宽的背景下，量刑程序得出的刑罚结论还应当反映出社会对于犯罪报应、预防与制止、矫治与需求等综合因素平衡的诉求。如此复杂的综合平衡过程是电脑这样的程式化机器无法独自承担的任务，理应由“人机协同”的方式来完成，以此确保量刑工作中“形式理性”和“实质理性”的有效兼容。

这种“协同”和“兼容”模式的实现，可以诉诸信息科学技术在诉讼流程优化和业务类型分工上的显著优势。传统司法业务效能的提升很大程度上来源于诉讼流程和分工的优化，但是以人力为基础的流程和分工必然会遇到“瓶颈”，一旦如此，诉讼效能的提升将难以为继。

而智能技术对于流程的优化作用在于，其可以实现流程自动化，通过引入智能技术，比如文档自动流转、形成业务信息数据库、由系统自动完成标注任务等，一方面可以降低流程对于人工的依赖，并借助高效的技术手段和数据分析能力缩短流程周期；另一方面，智能技术的优势在于精确化和个性化，形成对流程的精准把握，并针对不同的业务类型形成个性化的流程优化方案。

第二，人工智能与证据指引结合的问题。

证据是诉讼的灵魂和裁判的基石，有效的收集和使用证据对提高办案质量、彰显司法公正意义重大。

目前，地方上正在探索的证据指引系统，一个重要的目的就是规范侦查技术和指引侦查取证，从源头上解决假证现象。这实际上是在检察引导侦查等业务方面，从证据的程序上完善刑事诉讼体系。从世界范围内来看，检察引导侦查取证大多是以各种混合模式存在的。检察官可以根据办案需要采取恰当的形式介入侦查程序，发挥其在法律适用和证据保护中的优势作用，指导侦查机关办理刑事案件，确保移送的案件符合提起公诉的证据标准，基本方式包括类案指引和个案指引。

司法资源的有限性决定了检察官难以提前介入所有案件，因此寻求引导的多元化构建，变成了一个必要的选择。在类案指引中，检察机关除了适时出台相应指导性文件外，可以结合当下正在大力推进的司法智能化建设，强化证据指引在司法信息化办案平台中的研发和应用，将侦查指引的一般性要求引入审前办案系统，通过智慧检务的建设，向科技要人力，向机器要智慧。

最后，在数字时代，诉讼的目标将不再局限于实体正义和程序正义的价值平衡，还要考虑如何实现“数字正义”。在以智慧司法建设为口号的司法技术革命进程中，无论是法律人还是技术员，在迎接和拥抱科技革命带来的巨大成果的同时，还需要对人工智能技术、法律理论和制度边界有一个理性的认知，并在当前的技术上限和法律理论的底线之间，寻找和把握人工智能可以应用的业务范围，为制度发展和理论创新贡献力量。

谢谢大家！

文稿整理：上海市检察院林竹静祁堃

返回搜狐，查看更多

《新一代人工智能伦理规范》发布

9月25日，国家新一代人工智能治理专业委员会发布了《新一代人工智能伦理规范》(以下简称《伦理规范》)，旨在将伦理道德融入人工智能全生命周期，为从事人工智能相关活动的自然人、法人和其他相关机构等提供伦理指引。

《伦理规范》经过专题调研、集中起草、意见征询等环节，充分考虑当前社会各界有关隐私、偏见、歧视、公平等伦理关切，包括总则、特定活动伦理规范和组织实施等内容。《伦理规范》提出了增进人类福祉、促进公平公正、保护隐私安全、确保可控可信、强化责任担当、提升伦理素养等6项基本伦理要求。同时，提出人工智能管理、研发、供应、使用等特定活动的18项具体伦理要求。《伦理规范》全文如下：

新一代人工智能伦理规范为深入贯彻《新一代人工智能发展规划》，细化落实《新一代人工智能治理原则》，增强全社会的人工智能伦理意识与行为自觉，积极引导负责任的人工智能研发与应用活动，促进人工智能健康发展，制定本规范。

第一章 总则

第一条 本规范旨在将伦理道德融入人工智能全生命周期，促进公平、公正、和谐、安全，避免偏见、歧视、隐私和信息泄露等问题。

第二条 本规范适用于从事人工智能管理、研发、供应、使用等相关活动的自然人、法人和其他相关机构等。（一）管理活动主要指人工智能相关的战略规划、政策法规和技术标准制定实施，资源配置以及监督审查等。（二）研发活动主要指人工智能相关的科学研究、技术开发、产品研制等。（三）供应活动主要指人工智能产品与服务相关的生产、运营、销售等。（四）使用活动主要指人工智能产品与服务相关的采购、消费、操作等。

第三条 人工智能各类活动应遵循以下基本伦理规范。（一）增进人类福祉。坚持以人为本，遵循人类共同价值观，尊重人权和人类根本利益诉求，遵守国家或地区伦理道德。坚持公共利益优先，促进人机和谐友好，改善民生，增强获得感幸福感，推动经济、社会及生态可持续发展，共建人类命运共同体。（二）促进公平公正。坚持普惠性和包容性，切实保护各相关主体合法权益，推动全社会公平共享人工智能带来的益处，促进社会公平正义和机会均等。在提供人工智能产品和服务时，应充分尊重和帮助弱势群体、特殊群体，并根据需要提供相应替代方案。（三）保护隐私安全。充分尊重个人信息知情、同意等权利，依照合法、正当、必要和诚信原则处理个人信息，保障个人隐私与数据安全，不得损害个人合法数据权益，不得以窃取、篡改、泄露等方式非法收集利用个人信息，不得侵害个人隐私权。（四）确保可控可信。保障人类拥有充分自主决策权，有权选择是否接受人工智能提供的服务，有权随时退出与人工智能的交互，有权随时中止人工智能系统的运行，确保人工智能始终处于人类控制之下。（五）强化责任担当。坚持人类是最终责任主体，明确利益相关者的责任，全面增强责任意识，在人工智能全生命周期各环节自省自律，建立人工智能问责机制，不回避责任审查，不逃避应负责任。（六）提升伦理素养。积极学习和普及人工智能伦理知识，客观认识伦理问题，不低估不夸大伦理风险。主动开展或参与人工智能伦理问题讨论，深入推动人工智能伦理治理实践，提升应对能力。

第四条 人工智能特定活动应遵守的伦理规范包括管理规范、研发规范、供应规范和使用规范。

第二章 管理规范

第五条 推动敏捷治理。尊重人工智能发展规律，充分认识人工智能的潜力与局限，持续优化治理机制和方式，在战略决策、制度建设、资源配置过程中，不脱离实际、不急功近利，有序推动人工智能健康和可持续发展。

第六条 积极实践示范。遵守人工智能相关法规、政策和标准，主动将人工智能伦理道德融入管理全过程，率先成为人工智能伦理治理的实践者和推动者，及时总结推广人工智能治理经验，积极回应社会对人工智能的伦理关切。

第七条 正确行权用权。明确人工智能相关管理活动的职责和权力边界，规范权力运行条件和程序。充分尊重并保障相关主体的隐私、自由、尊严、安全等权利及其他合法权益，禁止权力不当行使对自然人、法人和其他组织合法权益造成侵害。

第八条 加强风险防范。增强底线思维和风险意识，加强人工智能发展的潜在风险研判，及时开展系统的风险监测和评估，建立有效的风险预警机制，提升人工智能伦理风险管控和处置能力。

第九条 促进包容开放。充分重视人工智能各利益相关主体的权益与诉求，鼓励应用多样化的人工智能技术解决经济社会发展实际问题，鼓励跨学科、跨领域、跨地区、跨国界的交流与合作，推动形成具有广泛共识的人工智能治理框架和标准规范。

第三章 研发规范

第十条 强化自律意识。加强人工智能研发相关活动的自我约束，主动将人工智能伦理道德融入技术研发各环节，自觉开展自我审查，加强自我管理，不从事违背伦理道德的人工智能研发。

第十一条 提升数据质量。在数据收集、存储、使用、加工、传输、提供、公开等环节，严格遵守数据相关法律、标准与规范，提升数据的完整性、及时性、一致性、规范性和准确性等。

第十二条 增强安全透明。在算法设计、实现、应用等环节，提升透明性、可解释性、可理解性、可靠性、可控性，增强人工智能系统的韧性、自适应性和抗干扰能力，逐步实现可验证、可审核、可监督、可追溯、可预测、可信赖。

第十三条 避免偏见歧视。在数据采集和算法开发中，加强伦理审查，充分考虑差异化诉求，避免可能存在的数据与算法偏见，努力实现人工智能系统的普惠性、公平性和非歧视性。

第四章 供应规范

第十四条 尊重市场规则。严格遵守市场准入、竞争、交易等活动的各种规章制度，积极维护市场秩序，营造有利于人工智能发展的市场环境，不得以数据垄断、平台垄断等破坏市场有序竞争，禁止以任何手段侵犯其他主体的知识产权。

第十五条 加强质量管控。强化人工智能产品与服务的质量监测和使用评估，避免因设计和产品缺陷等问题导致的人身安全、财产安全、用户隐私等侵害，不得经营、销售或提供不符合质量标准的产品与服务。

第十六条 保障用户权益。在产品与服务中使用人工智能技术应明确告知用户，应标识人工智能产品与服务的功能与局限，保障用户知情、同意等权利。为用户选择使用或退出人工智能模式提供简便易懂的解决方案，不得为用户平等使用人工智能设置障碍。

第十七条 强化应急保障。研究制定应急机制和损失补偿方案或措施，及时监测人工智能系统，及时响应和处理用户的反馈信息，及时防范系统性故障，随时准备协助相关主体依法依规对人工智能系统进行干预，减少损失，规避风险。

第五章 使用规范

第十八条 提倡善意使用。加强人工智能产品与服务使用前的论证和评估，充分了解人工智能产品与服务带来的益处，充分考虑各利益相关主体的合法权益，更好促进经济繁荣、社会进步和可持续发展。

第十九条 避免误用滥用。充分了解人工智能产品与服务的适用范围和负面影响，切实尊重相关主体不使用人工智能产品或服务的权利，避免不当使用和滥用人工智能产品与服务，避免非故意造成对他人合法权益的损害。

第二十条 禁止违规恶用。禁止使用不符合法律法规、伦理道德和标准规范的人工智能产品与服务，禁止使用人工智能产品与服务从事不法活动，严禁危害国家安全、公共安全和生产安全，严禁损害社会公共利益等。

第二十一条 及时主动反馈。积极参与人工智能伦理治理实践，对使用人工智能产品与服务过程中发现的技术安全漏洞、政策法规真空、监管滞后等问题，应及时向相关主体反馈，并协助解决。

第二十二条 提高使用能力。积极学习人工智能相关知识，主动掌握人工智能产品与服务的运营、维护、应急处置等各使用环节所需技能，确保人工智能产品与服务安全使用和高效利用。

第六章 组织实施

第二十三条 本规范由国家新一代人工智能治理专业委员会发布，并负责解释和指导实施。

第二十四条 各级管理部门、企业、高校、科研院所、协会学会和其他相关机构可依据本规范，结合实际需求，制订更为具体的伦理规范和相关措施。

第二十五条 本规范自公布之日起施行，并根据经济社会发展需求和人工智能发展情况适时修订。

国家新一代人工智能治理专业委员会

2021年9月25日

人工智能行业法律现状和发展

一、人工智能（简称“AI”）定义能模仿人类思维、行为的智慧机器，AI是人的逻辑能力（分类总结推理判断）、决策能力和机器存储、运算能力，以及大数据的有序结合，三者缺一不可。

AI的运行依赖大数据，没有数据，AI不是无从施展身手，而是根本无法存在，可以说AI就是人机优势互补，对数据收集、存储、分发、加工、使用、处理的全程。

其应用于语音识别、语言处理、无人驾驶、机器视觉、机器学习等自身开辟的新领域，和智慧政务、智慧城市、智慧医疗、智慧物流、智慧工厂等改造后的传统领域。

二、   AI现行法律

现在尚无成体系的AI法律体系，2017年7月20日公布的《新一代人工智能发展规划》国发〔2017〕35号是中国AI发展的纲领性文件，其战略目标分三步走，提到“到2025年初步建立人工智能法律法规、伦理规范和政策体系，形成人工智能安全评估和管控能力。”

2019年3月4日，十三届全国人大二次会议发言人表示“全国人大常委会已将一些与人工智能密切相关的立法项目，如《数据安全法》、《个人信息保护法》和修改《科学技术进步法》等，列入本届五年的立法规划。同时把人工智能方面立法列入抓紧研究项目，围绕相关法律问题进行深入的调查论证，努力使人工智能创新发展，努力为人工智能的创新发展提供有力的法治保障。”

AI立法从数据开始，是有内在逻辑的。现《数据安全法》、《个人信息保护法》已经公布法律草案。

三、AI立法思路

立法目的：为AI的广泛应用奠定法律基础。

立法目标：保证AI安全、可控。

立法顺序：数据安全是AI行业健康发展的基本要求和最低要求，参考分散于网信办等各部门的数据法律、规范性文件、政策文件，制定《数据安全法》、《个人信息保护法》，确保数据从收集到处理全链条安全。

通过法律实践倒逼法律成型，研究分析自动驾驶、服务机器人等已实际应用场景下的AI法律问题，制定《人工智能法》，规定AI的法律主体、权利义务、刑民责任承担。

最后评估该法能否解决其他行业应用场景下的AI法律问题，适时修改，如果难以兼容，可能会就不同行业单列章节。

四、对人工智能的法律主体、权利义务、刑民责任承担的预测

1、不同于自然人、法人，AI不能成为享有权利，承担义务的法律主体，其性质上属于财产，将作为知识产权登记在自然人、法人名下。AI名下无法登记财产，也无法承担债务。

2、权利人对AI行使登记（申请确认知识产权）、使用（自用）、收益（对外许可使用，收取知识产权使用费）、处分（转让、抵押、作为公司设立出资）等权利。

3、AI的收益由权利人享有，引发的不利后果由权利人承担，类似饲养的羊驼参加商业活动，报酬归主人所有，羊驼吐口水、咬人导致的赔礼道歉、赔偿损失等法律责任由主人承担。责任承担是AI行业的核心问题，利益冲突很激烈。举例，当自动驾驶导致交通事故，造成财产损失和人员伤亡，那么责任由谁承担、如何分配，汽车企业、AI权利人还是消费者，或者地图导航企业、5G运营商？这个责任是刑事责任还是民事责任，刑事责任的话，AI公司（如百度）的法人要刑拘吗？，公平责任还是赔偿责任，赔偿责任的话，过错责任还是无过错责任，连带责任还是按份责任；除归责原则外，还涉及举证责任的分配，这些都需要立法机关权衡AI行业发展和公众权益后，作出具体规定。

五、安全可控的实现和影响

1、AI企业需自查自纠，反复试验验证，确保AI产品、服务安全可控；AI如应用于重要场合，需事先经过第三方机构的安全可控评估，第三方机构可能由工信部设立。

2、在技术上，一家公司的AI服务足以覆盖全国，但算法出错、AI失灵的风险也将随之扩散至全国，为实现安全可控，政府天然支持AI行业反垄断，重要细分领域的第一可以生存，第二、第三也能。

法律人工智能的十大前沿问题

法律人工智能是指人工智能技术在法律中的应用，其目标是充分提升法治效能。我国的智慧法院、智慧检务建设等国家重大工程，就是法律人工智能的落地应用。目前，法律人工智能的系统工程标杆是“上海刑事案件智能辅助办案系统”，其将公检法三机关的刑事业务在一个云平台内打通，部分实现了自动法律推理，大幅提升了工作实效和程序公正性。法律人工智能研发中的问题主要有理论建模和具体应用两大类，可以总结为十大前沿问题。

法律推理的形式模型。法律推理的形式建模是实现自动法律推理最基础的问题。自动推理与智能密切相关。智能即会思维。什么叫“会思维”？英国数学家图灵认为，如果机器能在互不接触的相当长时间内与人类对话，而被对方误判为人类的概率达到一定程度，那就有理由说这台机器“会思维”。这就是“图灵测试”。这表明，人工智能的关键在于能否实现自动推理。作为人工智能子领域，法律人工智能的关键就在于法律自动推理的实现。为此，需要给出面向自动法律推理的形式模型。有三种可能的法律推理建模方案：一是规则推理方案，即利用演绎推理将法律规范编码成法律解释库和案件事实库，以实现自动法律演绎推理；二是案例推理方案，即利用类比推理将案例编码成法律解释库和案件事实库，以实现自动法律类比推理；三是数据推理方案，即利用归纳推理将有价值的法律信息编码成法律解释库和案件事实库，以实现自动法律大数据推理。在成文法国家，第一种方案是最主要的。

法律决策的计算模型。能行可计算是人工智能得以实现的必要条件。“能行”强调要有实效，“可计算”强调能够通过编辑方式来实现。法律决策能行可计算是法律人工智能的前提条件。法律决策可分为立法、执法、司法和守法决策，其理性根基即立法论证、执法论证、司法论证和守法论证。然而，传统法律论证主要由人工完成，优度完全取决于法律论证者的知识结构和论证能力，而作为自然人的论证者总有知识结构、价值取向等局限，得出的结论难免存在主观偏差。在法律决策中，尤其是在法律论证者经验不足的阶段，常常会犯常识或逻辑错误，而设计相关法律决策辅助系统，保障法律问题部分可计算，可以减少这类错误发生。概言之，为了逼近客观性，充分利用人工智能技术是一种切实可行的方案。

证据推理的计算模型。证据推理的计算模型是实现自动法律证据推理的前提条件。在审判过程中，法律从业者通过证据累积来确认或否认有关法律假设。服务司法证明过程的法律人工智能应用必须具备为用户提供在案件中进行证据表达和推理的复杂能力，因此，研发者必须使用复杂的技术来表示、探索、推断和分析诉讼过程中出现的假设和证据的可替代性解释。这需要计算技术来表示诉讼参与者、实体、事件和世界情形语境，将解释证据的替代假设进行结构化处理，通过评估证据的相关性和权重来确证或否定假设，做出假设真实的推论，而将贝叶斯推理网络与人工智能中的知识表示组合起来，就可以对事实论证进行结构化分析。

法律推理多主体建模。法律审判是建立在诉讼基础之上的，而诉讼是一种三方法律论证博弈。利用人工智能中的多主体系统思想，就能实现诉讼论证博弈的逻辑建模。在计算机科学中，多主体系统又称多智能体系统，是指由多个相互作用的智能体组成的计算机系统。典型的多智能体系统研究指向软件智能体，其主体可以是机器人、人或人机组合团队，智能则可以包括条理方法、功能方法、程序方法、算法搜索或强化学习。多智能体系统可以解决单个智能体或单个系统难以解决甚至不可解决的问题。法律诉讼恰恰是一种多主体互动的论证活动。诉讼中，起诉、应诉和裁判三方需要就法律论证中的法律规范及其解释、法律证据及其支持的事实主张以及法律论证的强度进行互动，做出相应法律决策。多主体系统为智能诉讼系统（如智慧法院等）提供了可能的建模方案。

可执行立法检验建模。党的十八大提出了“科学立法”。从逻辑学角度讲，科学立法就是将法律体系视为一个准逻辑体系，要求法律体系原则上具有一致性、完备性、有效性和可靠性。其中，最为核心的是一致性，因为完备性、可靠性和有效性均可通过法官的自由裁量权弥补，而一致性却很难。法律体系的一致性，要求法律体系原则上无矛盾，不应出现法律冲突。不一致会导致法律体系紊乱和法律从业者无所适从，并削弱司法公信力。同一法律内部的冲突，立法者一般可自行解决，但不同部门法以及上下位法的冲突往往超出立法者能力范围。而自动实现法律法规体系一致性检测的法律人工智能，将大大提升我们的科学立法水平。

文本自动分类与总结。该问题包括两个方面：一是法律文本的自动分类。当前，大多数法律文件以电子形式提交，但对这些电子文件的分类多停留在传统的人工阶段，而利用机器学习技术中的文本自动分类技术，可实现法律文本的自动分类。智慧司法的一大目标就是要借此提高文件的归档效率和后期利用率。二是文本中法律论证的自动总结。法律决策建立在法律论证之上，而法律论证埋藏在法律文本之中。借助机器学习中的文本自动总结技术，可以大大提高法律论证挖掘的效率。更重要的是，使用传统的人工方法挖掘法律论证，其质量主要取决于论证挖掘者的能力和水平，优度参差不齐，而研发法律文本的自动总结应用程序，可以普遍提升论证挖掘优度，并确保论证挖掘质量的稳定性和评估的客观性。

法律信息的自动提取。法律信息提取过程中产生的信息是后续立法和构建新的法律论证的基础，也是处理电子证据的有效手段和帮助用户评估相关信息的能行工具的重要组成部分。但由于数据量过于庞大，对法律信息手工分析显然不可行。自动信息提取的任务就是从非结构化或半结构化的机器可读文档中自动提取并生成结构化信息。在大多数情况下，信息提取涉及通过自然语言处理分析人类语言文本。目前，人工智能技术已支持多媒体文档信息的处理，如图像、音频和视频文档的自动注释和内容提取。法律信息自动提取涉及一般自然语言的文本处理和具体法律领域语言处理，因此，相关模型需要同时兼顾这两个方面。

电子取证的机器学习。电子取证是指在法律诉讼或法律调查中为回应举证要求而进行的电子存储信息的辨识、收集和举证。这些电子存储信息包括文档、电子邮件、音频、视频、数据库、社交媒体等。电子数据不仅数量巨大，取证过程和技术往往也很复杂。电子文档富有动态性，常常包含如时间—日期戳、作者和收信人等元数据。为避免证据后期被篡改或毁损，需保存电子存储信息的原始内容和元数据，并置于法律监管之下。数据分析就是要筛选和隔离明显不相关的电子信息，将数据托管于安全环境中，使得编写文档代码的审阅人员可以访问这些数据，了解它们与法律事项的关系。使用计算机辅助评估、预测编码和其他用于电子取证的分析软件，可以大幅降低法律从业者审查证据的时间等人力成本。

法律信息的检索系统。法律信息检索是一门应用于包括法律法规、判例和学术论著在内的法律文本的信息检索科学，是法律信息学的一个领域。通过电子手段可获得的法律文件数量庞大且呈爆炸式增长，故法律信息精准检索日渐重要。一般来讲，为了达到信息检索的目标，有三种可运用的检索技术——布尔检索、法律文本手工分类和法律文本自然语言处理。对于整体的法律文档而言，目前通常使用的方法是布尔检索法，也就是与特定术语进行精确匹配。一般来说，研究人员相信他们通过这种方法已经检索了大多数的相关文件，事实上这种方法的平均查全率只有20%，所遗漏信息可能相当重要。法律信息检索试图通过增加相关文档的数量（高查全率）和减少不相关文档的数量（高准确率）提高法律搜索的效率。但这是一项艰巨的任务，因为在法律领域行话和多义词非常普遍，而且有些词义还经常变化。

法律机器人的研发。法律机器人是一类面向客户的法律人工智能应用程序，用于自动执行具体法律任务，如文档自动化和计算机辅助法律检索。从智能搜索机器人、表单程式机器人到法律咨询机器人，法律机器人的用户界面多种多样。根据任务的不同，面向律师事务所客户的法律机器人解决方案往往需要在律师监督下运行，而面向消费者和企业客户的法律机器人解决方案则通常不需要法律专业人士的直接监督。法律机器人不是用来取代诸如法官、律师等法律从业者的，它是人类智能之延伸，是法律人的得力助手，而并不会替代法律人。（作者：熊明辉，系中山大学哲学系教授，国家“2011计划”司法文明协同创新中心教授）

数据政治丨数字化治理：人工智能的立法困境

人工智能时代已然来临，诸如人脸识别、无人驾驶、智能机器人越来越受到人们的青睐。人们一方面享受着人工智能所带来的便利，一方面对人工智能技术的滥用产生了担忧，比如个人信息隐私保护等等。11月19日是《个人信息保护法（草案）》公开征求意见截止日期，而这也是国内首部专门规定个人信息保护的法律。

其实，针对数字经济的立法趋势在全球都开始显现。10月末，欧洲议会通过了有关欧盟如何更好地监管人工智能的三份立法倡议报告，以促进创新、道德标准和技术信任。欧盟委员会预计到2021年初会形成关于AI立法的提案。

如何看待人工智能的立法问题，未来的方向又是什么？刘志毅认为，法律规则必须适应创新否则就会无效或者产生不良后果，另一方面法律系统必须有一定的预见性，否则当深度学习这样的算法广泛使用时，将会产生预期外甚至不可逆的结果。

——编者

刘志毅/文以深度学习为代表的人工智能技术在这一轮信息技术浪潮中逐渐占据了主导地位后，一方面带来了不同产业的智能化转型的应用场景落地，一方面也带来了诸多挑战与风险，其中一点就是在法律制订与应用层面的风险。鉴于人工智能技术应用中的普遍性，如果只是单维度的考虑其影响（比如就人工智能技术算法对法律的影响），将有失偏颇，因此我们采取一种更加宏观的视角去理解这个问题。我们不仅讨论使用人工智能技术如何产生作用的场景，同时也会讨论人工智能技术作为复杂的系统化技术对使用者和第三方的影响和风险，对人工智能法律和道德之间的关系进行初步的讨论以及提供理解的基本框架。

法律的框架

首先我们需要明确一个问题，人工智能技术所带来的影响可能涉及社会、经济以及伦理领域，而我们是否需要制定一个法律框架来促进个人与公共的利益在人工智能技术的发展中能够被正确引导呢？虽然我们可以看到非数字化的法律法规（民法、刑法、公法或者其他规范和标准），但是数字化世界里的挑战是复杂和多元的，单纯的引用非数字化世界的法律可能并不能满足相应场景的需求。

另一方面，如果新的人工智能相关的法律出来，如何应该将它放在法律体系的整体框架内？我们知道单个领域的法律规范系统是会与整个法律系统相联系的，会通过一定的规制和方式嵌入复杂的法律架构之中，而不同的法律是需要不同的资源去支撑的，也需要在不同的社会组织中进行复杂的协作，这是我们理解人工智能技术立法的第一个视角。

其次，我们可以看到法律实际上是治理模式的一部分，对于人工智能的立法问题来说，如何看待它的治理模式。它的治理模式包括市场、竞争、网络、合同和数字化控制等多个方面，这些方面的结构和范式其实就是各个国家推动人工智能政策和法律的基本元素，也是我们研究数字化治理的基本逻辑。

著名学者卢西亚诺.弗洛里迪曾经在他的专著中提到，“数字化治理是建立和实践适当开放、使用和管理信息圈的政策、程序和标准的实践，这也是一个惯例和良好协作的问题，有时既谈不上道德与否，亦谈不上合法与否。”因此，通常数字化治理的基本出发点就是“善治”，即通过算法进行治理来保证符合道德要求以及合规性，而依据这方面的研究，就得到了关于AI伦理的一系列原则。采纳这样的方式的原因是因为法律和道德之间深刻的相互作用，即法律具备道德基础，而道德与原则又通过法律来自我塑造，保持了一定的弹性空间。

现实的障碍

事实上，善治并不是单独产生的，它包括法律、伦理、道德等一系列的内容，因此我们需要提供一系列治理的框架来指导其实施逻辑，也就是说通常非数字化领域通过法律为主体的治理方式，到了数字化空间则需要多管齐下的去治理，这其中包括以下内容：

第一，数字化空间面临着公法和司法底层关系和结构的挑战，一方面原因是生态型的服务厂商正在创造和指引相应的规范，比如国外的谷歌、脸书、苹果等企业，这些规范来自于其企业创新实践，同时也来自于它在各国所面临的司法挑战。我们看到这些私营部门的强大正在改变很多商业的规则，但是它并不能改变国家有责任保护个人和公共利益的事实。这就创造了一种错位的空间，即私营部门在追求利益方面的不受限制以及其在承担公共利益上的义务的不对称性。于此同时，国家则集中精力推动私人单位追求公共利益，从而使得社会能够承担更大的责任同时也不会放松对其的治理。因此，需要建立起一种公共和私营部门的合作框架和机制，在欧洲强调一种“保障性国家”或“赋权型国家”机制，也正是随着数字化空间的兴起被重视起来。换言之，数字化空间是有私营部门创造出来的，赋权型国家的任务就是保护数字空间中的个人和公共利益，而法律则是其使用的重要治理手段。换言之，因为数字空间的基础很大程度上是由私营机构所建构的，因此国家则需要通过建立适当的架构和规范来为其发展划定必要的边界，指引合适的方向以及提供必要的基础设施支持（这也是新基建之所以重要的原因之一）。

第二，由于数字空间发展的创新性，因此判例成为重要的法律手段。例如德国作为大陆法系的重要国家，也将判例作为重要的隐私保护和数据安全的方式。例如2016年的一起案件中，德国联邦宪法法院裁定，对信息技术系统的保护不仅涵盖个人使用的技术及，还包括计算机之间的联网，例如在公有云上存储的数据，因此与之相关的人工智能运营也可能落入基本权利保护的范畴。为了实现在《德国基本法》上所提及的国家有义务避免对个人权利施加限制及保障个人免受他人的侵害，德国提供了数据保护法及信息技术安全法来处理人工智能相关的问题。

我们看到通过判例的方式不仅体现了法律在相关领域的创新，也体现了提供系统性保护的思路。所谓的系统性的保护并不是信息系统的保护，而是通过相关的技术以构建技术系统，独立地维护受保护的利益，尤其是第三方的利益。例如欧盟《通用数据保护条例》中的第25条中明确规定的通过设计与默认设置的方式来进行数据保护。通过这样的设计思路不仅仅能够在数据层面保护使用者的权利和安全，同时也能够保护数据隐私等权利。换言之，法律是要通过技术的方式进行算法规制，从而确保或者促进基本法律原则及作为补充的基本道德原则的有效性。

第三，人工智能领域的法律是有其现实障碍的，限于篇幅，我们主要讨论其中三个主要的风险：首先，是由于科技创新的快速迭代，以及相关商业模式发展带来的开放性问题。由于知识匮乏和发展的不确定相关，法律措施可能无法适应技术的创新。

一方面，法律规则必须适应创新否则就会无效或者产生不良后果，另一方面法律系统必须有一定的预见性，否则当深度学习这样的算法广泛使用时，将会产生预期外甚至不可逆的结果。例如我们看到人体与芯片相结合的技术方案越来越受到关注，而这就会造成人体和技术之间的界限越来越模糊，技术的攻击的危害也从技术终端扩展到人体本身的完整性；

第二，人工智能领域的技术通常是全球性的，由于不同国家法律体系以及法律法规各不相同，成为了阻碍法律实施以及商业模式落地的重要挑战。由于人工智能技术发展过程中硬件和软件的边界逐渐模糊，线上空间和线下空间逐渐融合，则需要法律能够对跨界的人工智能应用场景进行规范，甚至对各个专门领域中的人工智能使用进行规范。

第三，人工智能的技术通常是集中且不透明的，这会使得法律实施及其结果变得很困难。在国外，强大的信息技术企业正在通过自己的方式让自己的服务和产出变得不受监管，即使有了反垄断法的存在其实质性影响也是相当有限的，覆盖全球信息技术和人工智能领域的反垄断法并不存在。与此同时，人工智能技术的涉密性和安全性也使得其不太透明，产生一定的黑箱特性。随着算法的知识产权保护越来越受重视，很有可能扩张了其技术的不透明性。我们之前讨论过，人工智能相关法律的重要目标是防止个人与公共的相关利益受到损害，例如保护隐私、免收操作、公平获取信息及防治算法歧视等，而现有的法律框架在面临这些挑战时缺乏实践性的效果。

以上就是我们对人工智能对法律制订与应用带来的挑战与风险的初步讨论，我们可以看到人工智能领域的法律和道德伦理要求是紧密相关的，这其中的关键在于明确在多大程度上保护措施仅基于道德标准，还是要考虑通过约束性的规则进行规范即可。除此之外，我们看到了人工智能技术在实施上的困难，尤其是在跨国法律框架下所收到的挑战。

可以看到，无论是国内还是跨国的人工智能领域企业，尤其是占据市场支配地位的科技巨头，更愿意用道德原则去规范和指引行为而非直接诉诸于法律手段，来为科技创新获得更大的自由度，而我们也需要认识到。鉴于数字化空间普遍存在的风险，以及全球越来越重视人工智能领域的规则制定，人工智能领域的立法将成为不可避免的趋势。

（作者系数字经济学家、商汤智能产业研究院主任）

人工智能领域下的个人信息安全法律问题

人工智能对个人信息的运用，存在复杂的侵权问题，人工智能存在事故认定、产品责任、用户人身财产利益损害问题，同时人工智能收集、储蓄、处理环环相扣，使得侵权的主体及损害后果、因果关系十分复杂。

//

-当前个人信息保护立法现状-

目前我国关于个人信息保护在《民法总则》《消费者权益保护法》《网络安全法》有所体现，此外在部分的行政法规、部门规章中也有涉及，但是相关的规定十分松散，没有系统的关于个人信息保护的立法。《民法总则》概括性的表达了对于个人信息非法使用的禁止性规定，《刑法》对于侵犯公民个人信息犯罪作出了惩罚规定，《网络安全法》、《电子商务法》规定了相关主体平台的信息保护义务和非法使用个人信息应当承担的责任。2018年我国实施的《信息安全技术个人信息安全规范》为遏制个人信息非法收集、滥用、泄漏等乱象,最大程度地保障个人的合法权益和社会公共利益,为个人信息保护提供了详细的推荐性国家标准,赋予用户对于个人信息的访问权、独立控制权、删除权等权利。

//

-人工智能下的个人信息保护路径-

人工智能的兴起，为个人信息数据的保护带来了挑战，我国需要建立系统的个人信息数据保护机制，整合民法总则、刑法等规范，为个人信息安全保驾护航。

首先，需要明确个人信息权。个人信息与人身有密切的关系，其涉及个人的隐私与尊严，同时涉及到一定的财产权利。应该区分个人信息被使用的知情权、更改权、删除权等，明确人工智能收集个人信息的界限，让个人信息成为一个有价值、受保护的权利。

其次，要为人工智能领域收集个人数据建立科学的原则。科学的原则主要体现在收集个人信息的合法、必要、正当性上。对于收集的用户信息，不能超过用户同意使用的部分，收集的信息，不能超过合理必要限度。

最后，对于人工智能的领域内的个人信息安全，应该制定专门的法律，明确侵权的救济方式。人工智能侵权与普通侵权相比，具有主体不明确的特征，人工智能是否是法律拟制的主体也是法律需要进一步明确的。制定个人信息数据保护专门性法律作为特殊法,促进个人信息数据保护的法律体系的搭建,使得人工智能领域的个人信息数据安全得到体系化的保护。

人工智能快速发展，个人信息保护日益迫切，当下亟需解决完善个人对于人工智能收集使用个人信息数据享有的权利、人工智能收集和使用个人信息数据的边界范围、侵权责任的认定及救济方法。维护个人信息数据，使人工智能在合法的轨道上快速发展，人工智能才能更好的为人们提供服务。

作者：眷诚法务王伟

图片：网络返回搜狐，查看更多