人工智能在司法领域的应用
短短50年，司法（法律）人工智能的飞速发展令人惊叹，特别是近几年，人工智能大有取代法律人的趋势。在国外，人工智能应用于司法领域的例证可追溯至20世纪70年代，美国等发达国家研发了基于人工智能技术的法律推理系统、法律模拟分析系统、专家系统运用于司法实践。
我国最初将人工智能应用于司法是在20世纪80年代，由朱华荣、肖开权主持建立了盗窃罪量刑数学模型；1993年，赵廷光教授开发了实用刑法专家系统，具有检索、咨询刑法知识和对刑事个案进行推理判断、定性量刑的功能。
时至今日，随着我国智慧法院、智慧检务等重点工程的全面铺开，最高人民法院在2018年推出了“智慧法院导航系统”和“类案智能推送系统”，还有北京的“睿法官”智能研判系统、上海的“206”刑事案件智能辅助办案系统、河北的“智审1.0”审判辅助系统以及其他地方法院推出的人工智能产品，为法官审理案件提供了支持，全面提高了司法效率。
正如我们所看到的，司法人工智能一路走来，技术不断革新，愈发突破人类的认知极限。确实，人工智能在司法领域的应用前景十分广阔，很多学者甚至大胆猜测随着人工智能技术革命性的发展，法律人也将逐渐被取代。然而，尽管这一新兴事物激发了我们对未来的无限畅想，我们仍应保持清醒，在促进其发展的同时守住一些底线，不要抱有盲目的期待和开展毫无方向的研究，要在法律原则和伦理限度内客观评估、审慎使用。下文我们将对此展开详细的论述。
人工智能在司法领域的应用现状
（一）法律问答、信息处理数据化
司法人工智能在法律检索、信息处理上呈现电子化、数据化的趋势，并且这一趋势将如日中天地延续下去。如法律问答、诉前咨询、电子卷宗生成、远程立案等都属于在线信息处理技术，在此期间运用的人工智能没有自主思考过程，仍然由人进行实质化操作，其核心在于由传统的线下办案转为线上模式，为当事人及办案人员提供便利。其中法律问答机器人似乎与我们脑海中想象的人工智能更加接近，通过检索在机器人系统中提前设置好的固定提问模式来获取所需信息，其本身无法根据不同疑难问题产生额外答案，但对于日常一般案件所需还是可以满足的。
再如卷宗OCR识别、庭审语音识别、证据识别等属于感知智能技术，相较于传统的扫描、录音等技术有很大提升。以庭审语音识别为例，科大讯飞的灵犀语音助手特别针对中文口音问题进行了识别优化，语音识别率已能达到90%以上。与书记员在庭审中手动输入文字材料相比，庭审语音识别技术大大提高了庭审记录效率，经对比测试，庭审时间平均缩短20%至30%，复杂庭审时间缩短超过50%，庭审笔录的完整度达到100%。此外，这一技术的推广能够解决运用录音、录像技术记录庭审过程的最大弊端，即我国的方言问题，这就避免了后期因录音识别难度大所造成的理解困难。其次，识别转化后的电子书面材料与录音、录像这一载体相比，查阅起来也更加有针对性，更加方便快捷，正在起到解放书记员的作用。
（二）文书制作、类案推送自动化
在文书制作与类案推送上，司法人工智能发挥的作用比基础的信息处理就多了一些智能化的因素。对于大多数简单案件，如危险驾驶、小额借贷纠纷、政府信息公开等可以简化说理并且能够使用要素化、格式化裁判文书的案件，裁判文书自动生成系统能够通过OCR、语义分析等技术，自动识别并提取当事人信息、诉讼请求、案件事实等关键内容，按照相应的模板一键生成简式裁判文书。对于其他制式法律文书的生成更是不在话下，还能够自动纠错，因而大大缩短了起草文书的时间，减轻了法官的工作量，帮助法官提高办案质效。
例如河北高院研发的“智慧审判支持”系统，就包含这样的文书制作功能，于2016年7月上线，在河北194个法院应用，截至2017年6月，短短不到一年的时间共处理案件11万件，生成78万份文书。以此积累从而建立自己的案例信息库，通过分门别类、匹配标记达到类案检索，在法官办案时自动筛选以往相似度较高的案例，实现类案推送提醒，为法官对相似案件的审判提供参考。如此一来，能尽量避免“类案不同判”和“法律适用不统一”的问题，有利于统一本地的司法裁判尺度，防止裁判不公。
（三）案件分析、辅助裁判智能化
人工智能减轻了办案人员处理日常琐碎事务的负担，在这样的背景下，我们不仅希望人工智能在可量化、低效率的环节发挥作用，还期待能够进一步发挥其智能化的优势，从而提高司法效率。于是，将其应用于案件分析与裁判就成了一个重要议题。在案件分析的初级阶段，通过设置分流原则和调整繁简区分要素，智能分案系统能对各类案件进行精细化处理，在平台运转过程中，分别针对刑事、民事、行政等不同案件的特点，综合各项权重系数，科学测算每个案件所需的办案力量，帮助法院实现对案件的繁简分流，合理配置司法资源，缓和“案多人少”的压力。在案件的深度分析及辅助裁判上，北京法院的“睿法官”系统能在庭审前自动梳理出待审事实，生成庭审提纲，并推送到庭审系统中。上海“206系统”的最大亮点是证据标准、证据规则指引功能，这一功能实现了证据资料的智能审查，为办案人员提供了标准化指引。此外，阿里推出的“AI法官”针对交易纠纷类案件建立了整套审判知识图谱，能够迅速分析案情并在极短时间内向法官给出判案建议。
总之，司法与人工智能的深度结合在理论界讨论得热火朝天，对人工智能产品的应用某些方面已经走在了理论的前面，司法系统的改革亦是大势所趋。但这并不意味着目前的研究与应用是完全科学、有效的，对司法人工智能的应用空间及限度尚需细细推敲。
人工智能在司法领域的应用限度
（一）在广度上不能覆盖司法活动全程
目前，司法人工智能被集中运用于流程性重复低效劳动以及依据模型简单推理等环节，能够辅助处理事务性工作，在通用技术已然成熟的领域还是十分成功的，如在线方式的信息处理（信息电子化）以及语音识别技术的应用，确为司法活动提供了极大的便利。然而，我们发现，不管是在线信息处理还是语音识别，都是日常生活中已经广泛应用的技术，这几项应用的成功取决于成熟人工智能技术的普遍性适用。以语音识别为例，我们平时在智能手机中常用的语音输入法便是这一技术最普遍的体现，只是在庭审中对此功能开发的更加精准与完善了而已，虽然场景不同，但其本质是不变的。
由此可见，目前成功广泛应用的人工智能产品大多是将通用化的技术稍加完善，便移植到了部分司法活动中，而对于其他司法环节，如疑难案件的事实认定、评价证据的证明力度、法律解释等等，仅靠通用技术的成熟是无法满足其需求的，要通过非形式逻辑与司法经验等因素的灌输来“定制”专门化产品，使其达到能够应对大多数司法问题的水平，从而贯穿司法活动全程。关键就在于能否实现这种“定制”呢？这不仅意味着需要有高度发达的研发水平作为支撑，还需要将人工智能、法律知识、司法经验等多重因素深度融合，使人工智能具备法律人的逻辑与思维，其难度远远高于日常通用技术的开发。于是，如果期望人工智能技术覆盖司法活动全程，我们不难得出，这种“定制”是很难、甚至无法实现的。
（二）在深度上不能替代法官价值衡量
如上文所提到的，司法人工智能已经在信息检索、文书制作、智能识别、证据指引等方面得到了成功的推广应用，对于一些简单案件也可以实现辅助推理并提出量刑建议。其强大的数据处理能力大大减轻了法官从事日常琐碎工作的负担。虽然还有相关研究表明，将人工智能运用于预测裁判结果，得出的预测准确度远高于人类，但是就能如部分人群所追捧的那样，将人工智能取代法官吗？
人工智能是关于数据的技术，依赖于人类对它进行设计和编程，它只能对人类输入的已有知识和信息进行模式化的吸收和处理，尽管它对现有知识的掌握度远超人类，但致命的缺陷就在于它不能适应人类社会日新月异的变化。法律适用作为对现实社会的即时反映,在司法裁判的价值衡量中融入社会一般公正观念是一种常态，而这种价值衡量是一个十分复杂的过程,“带有人情味的价值判断”很难被机器所学习。而司法裁判是关于经验的艺术，美国大法官霍姆斯说过，法律的生命在于经验而不是逻辑，他要求法官根据社会生活的不断变化赋予每个案件独特的裁判价值，不要被固有的法律逻辑所束缚。这就需要在法律规范和生活之间有交互往返的认知过程，通过复杂的价值判断来获得结论。从这个角度来说，人工智能法官只能按照事先设置的形式化指令来裁判案件，亦步亦趋地跟随着人类的操控，没有人的参与和输入，机器学习不会自主发生，更不会有人的独立思维，也就无法满足法官在价值判断过程中的语境化需求。正如霍姆斯法官说得那样，法律不是纯粹的逻辑和极致的理性，在司法裁判中还应考虑经验、道德和温情。毕竟，只懂法律的人不一定能够胜任法官,更何况只懂法律的机器呢？
司法人工智能的应用前景与出路
（一）司法人工智能：好钢用在刀刃上
人工智能最大的优势就在于它直接服务于人，通过介入司法活动的各个环节，在信息储存、数据运算、简单推理等方面发挥着重要作用，办案人员借助这些辅助功能最大限度地将自身从重复性、事务性的工作中解脱出来，还能及时发现并纠正一些细节问题，从而能够将时间和精力真正投入到分析疑难案件本身，实现了司法资源的优化配置。不仅如此，人工智能介入司法环节还能够在办案过程中对法官的行为进行程序化约束，矫正法官的主观偏见，扩展法官的认知能力，减少法官因直觉等主观因素对价值判断形成的消极影响。
司法实践中，人工智能作为辅助工具带来便捷，但也仅限于服务法官、辅助法官。因此，对司法人工智能的研发要将重心放在其辅助功能上。并且，基于当前司法人工智能在通用技术领域的应用上已经取得了相应的成果，因而未来应当更倾向于针对司法活动的专业性特征，进行司法专用领域的技术开发。比如，国外的一些法院利用人工智能对案件结果进行预测，还将人工智能运用于审查专家证言的可采性上，为法官裁判案件提供指引和参考。我国在研发时也可以结合自身实际来开发相应的产品。此外，也可以针对我国部分法院开始应用的量刑推荐、审判偏离预警等功能进行进一步完善与推广。
技术是人类社会进步的重要力量，人类作为社会发展的主体，必须将技术为我所用。正所谓“君子性非异也，善假于物也”，只有懂得如何开发与利用司法人工智能，善于扬其长避其短，才能将人工智能的价值发挥到最大化，只有将这块好钢用在刀刃上，才能为司法、为人民创造更多的价值。
（二）人工智能法官：不可望也不可即
早在20世纪70年代，已有学者提出假设——人类法官是否能被机器法官所取代，以消除法律的不确定性？我国最高人民法院副院长贺荣给出了明确的答案：机器人大法官绝无可能出现。
事实上，无论是普通民众，还是在领域内深耕已久的专家，都对计算机、人工智能和机器人这些事物的概念难以详细地区分。但有一点众所周知，它们的运作本质都是“接收信息-处理信息-输出信息”这样一种计算过程，每一个步骤都需要确切的定义，存在“唯一正解”。而司法裁判的魅力却在于往往不追求非黑即白，每个具体的案件都有其独特的一面，除了追求客观与合法之外，其中隐含的人情世故、伦理道德错综复杂，需要有审判智慧和审判经验的法官进行心证和裁量。法律虽然是冰冷的，但适用法律的过程却蕴含着温情，比如“于欢案”中，杀死“辱母”者这样为母复仇的情节富有非理性的情感色彩，与我国自古以来“父之仇，弗与共戴天”的礼法观念不无关联，这些人情事理只有亲历了生活、接受过教育、感受过熏陶的人类法官才能体会和把握，而隔着冰冷屏幕的人工智能法官是无法体会其中之精妙的。此外，人工智能还面临着算法“黑箱”问题。司法裁判的过程，本身就是一个注重辩论和说理的过程，在庭审中，不仅双方的唇枪舌剑会给法官带来事实判断上的影响，一个交互的眼神、一个微妙的表情都会成为法官的捕捉点，我国西周时期就有“以五声听狱讼，求民情”的记载。而人工智能法官的判案过程则会是系统内部的数据处理和运算，得出的判决是一个“暗箱操作”的结果，我们对其中的运算过程一无所知，“黑箱”的封闭性决策直接与司法公开原则相违背，还可能会触发算法独裁和歧视，难免招致公众对判决结果的质疑，引发社会混乱。
更重要的是，我国宪法有明确规定，国家的一切权力属于人民，审判机关的权力由人民赋予，法官所行使的司法权实质上是人民主权理论下的公共权力。古代西方有这样一句法律格言：“法官只有一个上司，那就是法律。”在此公共授权的语境之下，法官在审判中享有绝对的权威，其他任何主体都不能左右法官的最终判决。从这个角度上来说，如果让人工智能取代法官，是将人民赋予的公共权力让渡给了一个机器，无异于放弃了人民的公共事业，而导向机器人的统治。机器人是否能够认可法律作为他的上司我们不得而知，但必然消解了司法裁判的意义，也破坏了司法公信，这是社会所不能接受和容忍的。
综上所言，人工智能法官取代人类法官这样的愿景，乍一听固然美好，但是却陷入了人工智能的万能论当中。司法裁判是理解的技艺，是一门价值衡量的艺术，其中蕴含的经验和智慧并非人工智能所能体悟。人工智能取代法官是一个不可望也不可即的遥远幻想，未来对司法人工智能的开发不能突破底线，毫无节制地利用人工智能改造审判系统只会为现代法治带来无可挽回的创伤。
结论
尽管人工智能热潮一次次席卷而来，不断突破想象、冲击认知，但我们不能盲目追捧，尤其在司法领域更应保持审慎和理性。对于司法环节中的一些事务性、重复性工作，无疑应当交给人工智能来处理，发挥其超强的整合运算功能，提高司法效率；对于司法活动中的核心权力，如审判权，则必须由法官独立行使，而人工智能因其自身认知和思维上的缺陷决定了其只能处于从属地位。此外，如果一旦将司法决策权交与人工智能，随之而来的算法黑箱、算法歧视必然对司法公正造成冲击，也是对人民主权和现代法治制度的消解。
未来，要坚守法官的主体地位和人工智能的辅助角色，对司法人工智能的研发也要在服务法官、辅助法官的路上继续前进，而不要误入取代法官的歧途。人工智能与司法的深度结合已是大势所趋，审时度势地做好这道司法人工智能的加法题，让“人工”和“智能”各归其位、各取所需、强强联合，才能为司法、为社会带来最大的价值，将司法高效与司法正义共同推进。
来源：《人民法治》杂志
作者：贾喆羽吕昭诗孙晓璞
原标题：《人工智能在司法领域的应用》
阅读原文
人工智能的安全问题不容忽视
现在有很多技术可以欺骗人工智能，也有很多人工智能技术被用来欺骗人。在人工智能（AI）时代，安全问题不容忽视。
近几年，人工智能技术在很多领域都取得了初步的成功，无论是图像分类、视频监控领域的目标跟踪，还是自动驾驶、人脸识别、围棋等方面，都取得了非常好的进展。那么，人工智能技术到底安全不安全?事实上，目前的人工智能技术还存在很多问题。
人工智能并不安全
现在有很多技术可以欺骗人工智能，如在图片上加入一些对抗干扰。所谓对抗干扰，就是针对智能判别式模型的缺陷，设计算法精心构造与正常样本差异极小、能使模型错误识别的样本。如图1所示，本来是一幅手枪的图片，如果加入一些对抗干扰，识别结果就会产生错误，模型会识别为不是枪。在人的前面挂一块具有特定图案的牌子，就能使人在视频监控系统中“隐身”(见图2)。在自动驾驶场景下，如果对限速标识牌加一些扰动，就可以误导自动驾驶系统识别成“Stop”(见图3)，显然这在交通上会引起很大的安全隐患。另一方面，人工智能的一些技术现在正在被滥用来欺骗人。例如，利用人工智能生成虚假内容，包括换脸视频、虚假新闻、虚假人脸、虚拟社交账户等。
图1被暴恐检测系统识别成正常图片
图2在智能监控下隐身
图3误导自动驾驶系统
不只在图片和视频领域，在语音识别领域也存在这样的安全隐患。例如，在语音中任意加入非常微小的干扰，语音识别系统也可能会把这段语音识别错。同样，在文本识别领域，只需要改变一个字母就可以使文本内容被错误分类。
除了对抗攻击这种攻击类型外，还有一种叫后门攻击的攻击类型。后门攻击是指向智能识别系统的训练数据安插后门，使其对特定信号敏感，并诱导其产生攻击者指定的错误行为。例如，我们在对机器进行训练时，在某一类的某些样本中插入一个后门模式，如给人的图像加上特定的眼镜作为后门，用一些训练上的技巧让机器人学习到眼镜与某个判断结果(如特定的一个名人)的关联。训练结束后，这个模型针对这样一个人还是能够做出正确的识别，但如果输入另一个人的图片，让他戴上特定的眼镜，他就会被识别成前面那个人。训练的时候，模型里留了一个后门，这同样也是安全隐患。
除了对抗样本、后门外，如果AI技术被滥用，还可能会形成一些新的安全隐患。例如，生成假的内容，但这不全都是人工智能生成的，也有人为生成的。此前，《深圳特区报》报道了深圳最美女孩给残疾乞丐喂饭，感动路人，人民网、新华社各大媒体都有报道。后来，人们深入挖掘，发现这个新闻是人为制造的。现在社交网络上有很多这样的例子，很多所谓的新闻其实是不真实的。一方面，人工智能可以发挥重要作用，可以检测新闻的真假;另一方面，人工智能也可以用来生成虚假内容，用智能算法生成一个根本不存在的人脸。
用人工智能技术生成虚假视频，尤其是使用视频换脸生成某个特定人的视频，有可能对社会稳定甚至国家安全造成威胁。例如，模仿领导人讲话可能就会欺骗社会大众。因此，生成技术是否需要一些鉴别手段或者相应的管理规范，这也是亟须探讨的。例如，生成虚假人脸，建立虚假的社交账户，让它与很多真实的人建立关联关系，甚至形成一些自动对话，看起来好像是一个真实人的账号，实际上完全是虚拟生成的。这样的情况该如何管理还需要我们进一步探索和研究。
人工智能安全隐患的技术剖析
针对AI的安全隐患，要找到防御的方法，首先要了解产生安全隐患的技术。以对抗样本生成为例，其主要分为2类：一类是白盒场景下对抗样本生成;另一类为黑盒场景下对抗样本生成。白盒场景的模型参数完全已知，可以访问模型中所有的参数，这个情况下攻击就会变得相对容易一些，只需要评估信息变化的方向对模型输出的影响，找到灵敏度最高的方向，相应地做出一些扰动干扰，就可以完成对模型的攻击。黑盒场景下攻击则相对较难，大部分实际情况下都是黑盒场景，我们依然可以对模型远程访问，输入样本，拿到检测结果，但无法获得模型里的参数。
现阶段的黑盒攻击可大致分为3类。第一类是基于迁移性的攻击方法，攻击者可以利用目标模型的输入信息和输出信息，训练出一个替换模型模拟目标模型的决策边界，并在替换模型中利用白盒攻击方法生成对抗样本，最后利用对抗样本的迁移性完成对目标模型的攻击。第二类是基于梯度估计的攻击方法，攻击者可以利用有限差分以及自然进化策略等方式来估计梯度信息，同时结合白盒攻击方法生成对抗样本。在自然进化策略中，攻击者可以以多个随机分布的单位向量作为搜索方向，并在这些搜索方向下最大化对抗目标的期望值。第三类是基于决策边界的攻击方法，通过启发式搜索策略搜索决策边界，再沿决策边界不断搜索距离原样本更近的对抗样本。
有攻击就有防御，针对对抗样本的检测，目前主要有3种手段。第一种，通过训练二分类器去分类样本是否受到干扰，但通用性会比较差。通常而言，训练一个分类器只能针对某一种特定的攻击算法，但在通常情况下并不知道别人使用哪一种攻击算法。第二种，训练去噪器。所谓的对抗干扰基本上都是样本中加入噪声，通过去噪对样本进行还原，从而实现防御。第三种，用对抗的手段提升模型的鲁棒性，在模型训练中加入对抗样本，模型面对对抗样本时会具有更强的鲁棒性，提高识别的成功率，但训练的复杂度较高。整体而言，这些方法都不很理想，我们亟须研究通用性强、效率高的对抗样本的防御方法。
针对换脸视频的生成，目前主流技术是基于自动编码器进行人脸图像重建。在模型训练阶段，所有的人脸图像使用同一个编码器，这个编码器的目标是学习捕捉人脸的关键特征。对于人脸重构，每个人的脸都有一个单独的解码器，这个解码器用于学习不同人的脸所具有的独特特征。利用训练后的编码器与解码器即可进行虚假人脸生成。
针对换脸视频的鉴别，目前主流技术是基于视觉瑕疵进行鉴别，这个假设是换脸视频具有不真实的情况。因此，可以对眨眼频率、头部姿态估计、光照估计、几何估计等提取特征，利用这些特征去判断人脸的图片或者视频的真假。
对抗攻防已取得一定研究成果
目前，我们在人工智能安全技术上加大了投入，围绕人工智能安全领域的问题开展了一些研究。
第一个工作是针对视频识别模型上的黑盒对抗攻击。在该工作中，我们利用对抗扰动的迁移性，将图像预训练模型中得到的扰动作为视频帧的初始扰动，并在此基础上利用自然进化策略对这些初始扰动噪声进行纠正。当我们得到针对视频域特殊纠正后的梯度信息后，采用投影梯度下降来对输入视频进行更新。该方法可以在黑盒场景下，对主流视频识别模型进行攻击，这也是全球在视频模型黑盒攻击上的第一个工作。我们实现的结果是在目标攻击情况下，需要3万至8万次查询就可以达到93%的攻击成功率，非目标攻击只需要数百个查询就可以完成对主流模型的攻击。目标攻击是指不仅让这个模型识别错，还要指定它把这个东西识别成什么，如把A的照片识别成B。非目标攻击是指只要识别错就可以了，识别成谁则不重要，如A的照片只要不识别成A就可以。
第二个工作是基于时空稀疏的视频对抗攻击。由于视频数据的维度很高，导致攻击算法的复杂度往往较高。对此，我们提出了基于时空稀疏的视频数据对抗攻击方法。时空稀疏是指在生成对抗扰动时，仅对特定帧的特定区域生成扰动，以此降低对抗扰动的搜索空间，提高攻击效率。在该工作中，为了实现时空稀疏，我们根据启发式规则衡量每个帧的重要性，选择视频帧的子集进行扰动;同时，在空间上我们选择指定帧的写入区域，如针对前景运动的人做一些干扰。以此实现高效的视频黑盒攻击。
第三个工作是针对视频识别模型进行后门攻击。针对后门攻击，之前的研究都集中于图像领域，且都是生成固定的棋盘格式的后门，这种方法在视频上的攻击成功率极低。对此，我们提出了一种针对视频数据的后门攻击方法。在该工作中，我们首先对视频数据进行后门生成，并将后门图案安插在视频中不显眼的角落，同时我们对原始视频其他内容施加一些对抗干扰，使得我们识别的模型更加侧重利用后门，以此得到污染数据，并用污染的数据替换原始数据集里对应的数据，实现后门攻击。该工作在公开数据集上取得了比较好的攻击结果，在很多类别上平均攻击成功率可以实现80%左右，远高于现有的基于图像数据的后门攻击方法。
技术对人工智能治理至关重要
未来，技术将在人工智能安全问题检测以及相应规则落实上发挥重要的作用。在保障模型安全方面，通过发展对抗攻防理论设计更加鲁棒的智能模型，确保智能系统在复杂环境下的安全运行，形成人工智能安全评估和管控能力。在隐私保护上，发展联邦学习及差分隐私等理论与技术，规范智能系统分析和使用数据的行为，保障数据所有者的隐私。针对智能系统决策的可解释性问题，发展机器学习可解释性理论与技术，提升智能算法决策流程的人类可理解性，建立可审查、可回溯、可推演的透明监管机制。在决策公平方面，可以利用统计学理论与技术，消除算法与数据中的歧视性偏差，构建无偏见的人工智能系统。最后，为了保证人工智能技术不被滥用，可以通过发展大数据计算与模式识别等理论与技术，预防、检测、监管智能技术被滥用的情况，创造有益于人类福祉的人工智能应用生态。
姜育刚，复旦大学教授、博士生导师，计算机科学技术学院院长、软件学院院长、上海视频技术与系统工程研究中心主任。
文/姜育刚
本文来自《张江科技评论》