我国算法治理政策研究报告
我国算法治理政策研究报告
清华大学人工智能国际治理研究院
二〇二二年十月
内容简介
人类社会已经进入第四次科技革命时代，算法成为新的生产工具，并给生产关系带来深刻变化。由于算法运用具有的扩散性和分散性，同时某些算法结果具有的不可解释性，给社会治理带来挑战。为实现“科技向善”，并将算法关进制度的笼子里，需要坚持公私合作治理的模式，不能仅靠政府机构的单向控制式规制，而是需要充分发挥政府规制与企业自治的双重作用。此外，算法深深嵌入到社会运作的方方面面，算法治理的对象不应局限于平台和算法技术本身，而是需要分析与算法运行发生联系的各个组成部分，比如从主体维度看，包括技术研发者、技术运用者、监管者及消费者等；从技术环节看，包括数据处理环节、算法研发环节及算法落地环节等。只有各个组成部分实现协同治理，才能实现算法系统的“良治”。
算法治理也不是一场“打地鼠游戏”，应为算法建立一套体系化的综合治理框架。对此，本报告提出算法治理的五要素，即治理目标、治理主体、治理对象、治理手段和治理模式，并依据此治理框架横向比较其他法域的治理实践、分析我国算法治理现状和未解决的问题以及提出继续完善我国算法治理的政策建议。
具体而言，本报告共分为四个部分：
第一部分主要分析算法的社会价值与潜在风险，算法犹如一把“双刃剑”，既有正向价值，也有负面效应。治理算法的目标就是要实现趋利避害，因此政府和社会公众对算法价值和风险的认知需秉持“管、促、创”的基本认知逻辑，即坚持守住风险底线的前提下促进算法应用，同时创造条件实现算法创新。
第二部分总结和分析欧盟、美国、新加坡以及主要国际标准组织在算法治理方面的实践经验。
第三部分以算法治理五要素为维度，重点对比分析欧盟和美国算法治理的相同点和不同点，这些算法治理的最新实践可以为我国构建算法治理框架提供镜鉴。同时分析了我国算法治理现状和未解决的问题。
第四部分提出了若干政策建议，包括（1）在治理目标上，实现算法可问责与算法经济高质量发展；（2）在治理主体上，通过部际联席会议制度形成算法治理合力；（3）在治理对象上，从算法应用主体和应用场景角度拓宽算法治理的范围；（4）在治理手段上，补强司法救济和技术治理措施；（5）在治理模式上，优化多元主体参与的协同共治模式。同时对医疗辅助算法和自动驾驶算法的产业发展与治理问题进行了案例分析。算法治理是一项需要持续完善和迭代的系统工程，应结合技术的演进和场景的变化完善治理措施。目前我国针对算法治理集中出台了一些规制措施，其治理效果如何需要追溯和评估，并根据治理情况及时调试治理框架和改进治理措施，治理效果评估是未来研究的一个重点内容。
点击下列附件，获取报告原文↓↓↓
清华大学人工智能国际治理研究院中文
我国算法治理政策研究报告我国算法治理政策研究报告清华大学人工智能国际治理研究院二〇二二年十月内容简介 人类社会已经进入第四次科技革命时代，算法成为新的生产工具，并给生产关系带来深刻变化。由于算法运用具有的扩散性和分散性，同时某些算法结果具有的不可解释性，给社会治理带来挑战。为实现“科技向善”，并将算法关进制度的笼子里，需要坚持公私合作治理的模式，不能仅靠政府机构的单向控制式规制，而是需要充分发挥政府规制与企业自治的双重...
人工智能与社会治理
对广义人工智能的研究仍处于初级阶段。该领域的研究人员估计，广义人工智能可能在本世纪中叶开发出来，或者需要更长的时间。然而，考虑到广义人工智能开发的风险，一些专家主张从现在开始就要谨慎行事。他们认为，政府应该在人工智能完善之前，就对人工智能的发展进行保护，以避免出现类似终结者的场景。
在某种程度上，为了超越人工智能的说法，世界上最大的科技公司，包括谷歌和微软，一直在高调创建这样的“人工智能伦理”准则。例如，谷歌的人工智能原则列出了责任、安全和保证人工智能系统公正的承诺等内容。这些企业制定AI伦理指南的工作也成为最受关注的部分，主要是因为这些世界上最大的科技公司是以生产人工智能产品而使自己盈利为目标，并希望借此巩固在该领域全球技术领导者的地位。
（二）公平和正义
这一政策领域是人工智能领域中最受关注和争议的领域之一。主要围绕着人工智能系统是否反映、再现、甚至放大了社会问题进行研究。对于如何理解这一挑战，以及如何构建能够对抗、预防或最小化这类问题的人工智能系统，人们展开了一场持续的讨论。当涉及到人类性别特征、社会经济地位、性取向、种族和宗教地位的人工智能系统决策时，这种争论尤其令人担忧。
人工智能系统产生的决策，对很多人来说，可能是非常真实的。例如，这种系统可以决定谁能够获得公共和私人资源和服务，谁受到国家当局的监督，谁在招聘过程中被筛选，给消费者的信用评分是多少，并且可以决定警察和法院如何解释和执行法律。这些决策过程中的每一个都在筛选人们，或者对他们进行排序，正面和负面的影响取决于选择的状态。
正义和公平问题一方面涉及人工智能工具如何构建，另一方面涉及人类如何使用这些工具。缺乏有效性意味着人工智能工具没有“对真实世界的忠诚”，这意味着该工具的应用脱离了现实环境。偏差是指人工智能工具如何在预测中系统性地出错，尤其是对某些类别的人。这种人工智能偏差可能发生在成帧、数据收集和数据准备阶段。在这些阶段，人工智能系统的设计者可以有意地或通过致盲将偏差引入到算法和/或训练数据中，防止设计者看到他们是如何使结果分析产生偏差的。
（三）隐私、消费者保护和数据可用性
隐私和消费者保护问题也是备受关注的政策领域。人工智能系统可以从收集到的个人数据中分析个人的评价。因此，政府和企业可以获得大量的行为和人物数据，这些数据描述了一个人的过去，然后被基于人工智能的模型用来预测这个人未来的行为。
人工智能为数字隐私政策讨论增加了一个新的层面，涉及到行动者是否有权从个人收集的信息类型和数量以及如何处理这些数据的问题。上文提到的欧盟可信人工智能道德准则包括一个专门针对隐私的准则。该准则称隐私为“基本权利”，称“充分的数据治理”应涵盖所用数据的质量和完整性、与人工智能系统部署领域的相关性、访问协议以及以保护隐私的方式处理数据的能力等。
（四）国家人工智能战略和产业政策
各国政府正在将人工智能的商业发展作为中心目标，制定国家人工智能战略和产业政策。
国家人工智能战略代表了政府试图组织其对人工智能的思考，并因此围绕一系列战略目标调整其政策目标和利益相关者。产业政策并不完全一样。这是一个可延展的概念，但通常指国家对工业发展的直接和间接支持，特别是国家将支持那些被认为对国家经济繁荣和/或国家安全具有战略重要性的目标工业部门。产业政策工具清单可能包括设立技术发展基金、国家指导的集群投资(旨在促进地理“集群”效应)、外国技术转让要求(要求外国公司在某些条件下转让其技术)、对工人技能培训有针对性的支持等。
无论名称如何，各国政府一直在试图组织人工智能的战略方法。一项研究称，截至2019年7月，已有41个国家制定了国家人工智能战略，或表示有兴趣制定此类战略。在已经发布框架文件的19个国家中，大多数州（16个）优先考虑人工智能的研发，其次是人工智能人才的开发（11个）、人工智能作为产业战略的一部分的应用（9个）、道德和法律准则的制定（8个）、人工智能相关基础设施的投资（6个）以及人工智能在政府中的发展。
2019年，美国政府通过行政命令发布了自己的人工智能战略，强调R&D、标准和劳动力发展。这份文件是在奥巴马政府2016年发布R&D战略计划和一系列关注人工智能、社会和经济的报告之后发布的。同样是在2019年，三名美国参议员提出了一项立法，该立法将创建一项国家人工智能战略，更重要的是，为其提供资金。如果获得通过，《人工智能倡议法案》将在五年内拨款20多亿美元，用于资助一系列活动，包括建立人工智能协调办公室、几个研究中心，以及创建强大的人工智能评估标准。
（五）技术标准
根据国际标准化组织，技术标准规定了“材料、产品、过程和服务需要符合的要求、规范、指南或特性”。通过引入通用术语和规范，技术标准为市场繁荣提供了基础。具体而言，技术标准为各种商业活动创造了基础——允许技术之间的互操作，实现更快速的创新，鼓励产品差异化，简化商业合同，降低交易成本。
概括地说，政府有一系列的动机来创建(或鼓励采用)强大的技术标准。在国内，政府有兴趣帮助创造和扩大有希望的国内新技术市场。技术标准有助于促进这样的市场。但是政府显然也有兴趣保护公共利益，而技术标准又可以促进这一目的。例如，公共卫生和安全考虑，从食品到手术到运输，以及许多其他公众关注的领域，是制定技术标准的首要考虑。
最需要人工智能相关技术标准的地方莫过于自动交通系统。尽管现在有很多类似行动，但没有一个国家为自动系统制定一整套标准。美国政府按照其对技术标准的总体做法，只支持为自主汽车制定“利益相关者驱动的自愿技术标准”，并倾向于非政府组织，如国际汽车工程师学会（原汽车工程师学会）来进行研究发展。美国几十个州已经考虑或颁布了与自动车辆有关的初步立法，一些公司的目标是建立自己的（国家级）技术标准，以实现自主车辆测试。
（六）创新生态系统
国家和国家以下各级政府都对创新生态系统的创建非常感兴趣。世界领先的技术创新生态系统——如加利福尼亚湾区等城市和地区——不仅产生了世界上大部分的应用技术，而且还为当地居民创造了大量财富，进而为他们所在的国家创造了大量财富。鉴于人工智能相关技术将带来的收益，政策制定者专注于确保他们能够在自己的范围内分享这一财富创造。
在国家和国家以下各级，许多公共部门政策和投资支持（或阻碍）创新生态系统的创建和增长。这种政策和投资可以与支持产业政策的政策和投资类型重叠，尽管公众参与建设创新生态系统通常不被列为产业政策。
（七）赛博空间
人工智能使网络安全复杂化，因为它极大地加速了网络空间中的问题和机遇。网络安全行业将人工智能视为打击网络犯罪和黑客攻击的工具。因为其相信人工智能能比人类或软件更快更有效地完成这些任务。然而，与此同时，攻击者也可以利用这些优势，他们可以使用人工智能更快地发现和利用软件漏洞，生成更多的恶意软件以压倒网络防御，并创建更复杂和适应性更强的基于电子邮件的诈骗(网络钓鱼等)。
在这种情况下，越来越多的关注点是“对抗性ML”（或“对抗性AI”），当攻击者试图破坏、愚弄或窃取ML/AI系统时，就会发生这种情况。对抗性攻击有几种变体，例如，“模型反转”（攻击者获取用于训练系统的训练数据）和“模型窃取”（攻击者试图窃取模型的底层算法）。
“中毒攻击”是另一种常见的对抗性攻击，在机器学习模型中插入输入，诱使系统做出与系统设计参数不同的分类决策（是/否、输入/输出等），在中毒攻击中，不道德的行为体欺诈、欺骗、窃贼、敌对的外国政府，等等，操纵ML模型如何评估输入，以便以有利于攻击者的方式重新配置结果输出。中毒攻击会在模型的训练阶段对输入数据带来微妙的变化，这些变化设计得足够小，可以逃避研究人员的检测，但总体上却显著到足以在程序输出中产生系统偏差。这种“添加少量精心设计的噪音”可能会产生实际后果，例如，医疗领域的“受骗”人工智能系统可能会命令不必要的医疗治疗，构成医疗保险欺诈。
（八）犯罪、执法、欺诈和欺骗
人工智能是一个强有力的新工具，既能打击犯罪活动，又能使之成为可能。在打击方面，联合国区域间犯罪和司法研究所(犯罪司法所)和国际刑事警察组织(国际刑警组织)是全球一级研究这一系列问题的主要多边机构。2019年，他们发布了一份概览报告，认为虽然“许多国家”正在将人工智能应用于执法，但人们普遍对人工智能的效果缺乏了解，执法机构之间的国际协调程度也很低。犯罪司法所和国际刑警组织也正在牵头就这一问题开展全球对话，2019年7月举行了第二次年度执法人工智能全球会议。
（九）公共部门的效能
此外，人工智能可以协助其他重要的政府职能。监管监督就是其中之一。通过应用人工智能集成技术(除了人工智能之外，还有传感器和远程视频)，工厂和工地检查可以变得更加普遍、有效和便宜。此外，同样重要的是，人工智能可以生成预测分析，以预测何时何地可能发生严重的不良事件，例如，发电厂的机械故障、肉类包装厂的致病性爆发或工厂的化学品泄漏。
（十）成本：财务和能源
还有一个很少被注意但很重要的领域，财务和能源领域。由于涉及人工智能研究的高成本，所以既限制了谁可以参与人工智能系统的开发，又限制了进行研究可以使用多少资源。麻省大学的研究人员在2019年6月发表的一篇论文中发现，就这两种资源而言，训练大型人工智能模型的成本都很高。尽管人工智能模型有很多，运行它们所需的资金和能量也有很大差异(主要是云计算需要资金)，但研究人员发现这些成本随着模型的复杂性呈指数级增长。
（十一）致命自主武器系统
最后一组政策问题主要在国家安全领域。这些包括人工智能和致命武器，特别是“致命自主武器系统”的发展和它们在战场上的使用。对于世界主要大国的国家安全机构来说，最重要的政策优先事项很简单：在缺乏对自主武器系统具有约束力的情况下，最重要的优先事项是获得足够的资源来开发、测试和部署集成人工智能的系统，以确保优于本国的地缘战略和军事对手。
关于人工智能的使用，他们主要关心的是军事指挥链：谁(或什么)在战场上发布这种杀伤命令，或者至少是指挥链中的谁“决定如何、何时、何地以及为什么使用这种武器”？基辛格认为，鉴于基于人工智能的武器系统的发展缺乏透明度(透明度是所有军备控制的基础)，控制基于人工智能的武器系统，包括法律，也许是不可能的。他的言论意在对基于人工智能的武器系统被允许不受限制地发展可能导致的严重后果发出严重警告。
二、建议
我们现在正处于一个过渡时期，人工智能已经从潜力走向现实，其巨大的力量已经开始颠覆人类的生存，无论好坏。如果政府希望利用人工智能发挥积极的潜力，并避免人工智能带来的负面影响，就需要确定社会优先事项，制定可操作的战略，然后在实际资金支持下实施明智的政策。
（一）伦理规范
道德和规范声明的创建现在是广为人知的领域。愤世嫉俗者会辩称，这些声明之所以常见，恰恰是因为它们不具约束力，成本很低，对受影响的经济部门没有负面影响，并且标志着良性但往往模糊的制度行动。
但是这里也有一个令人信服的反驳。当通过制度化、公共环境、道德和规范声明进行定义时，可以迫使政府阐明它们最重视的价值观，从而确定它们的最高优先事项。这一过程迫使利益相关者强化他们的论点，并与他人一起协商他们的立场。此外，非约束性流程有助于在更具约束性、因此更困难的决策流程之前，围绕人工智能目标达成共识。
因此，各国政府应效仿欧盟的做法，建立高级别委员会，由公认和受尊重的主席领导，成员广泛代表社会，并负责通过严格的程序，形成广为宣传和传播的道德和规范声明。
（二）战略
说到人工智能，预期治理是至关重要的。尽管人工智能驱动未来的模式还不清楚，但政府还是应该积极面对人工智能带来的重大的、颠覆性的变革。首先，政府需要发展可操作且可行的策略，在积极的方向上塑造未来，同时避免或最小化人工智能领域中不可避免的负面后果。
综合战略应以道德和规范声明为基础，以帮助确定战略目标。理想情况下，人工智能策略不仅会定义政府希望实现的目标，而且还会定义政府不愿意容忍的结果。此外，重要的是要从一开始就认识到一些战略成果会与其他成果相矛盾。政府需要在一方面瞄准创新的前沿，即成为基于人工智能的初创企业和人工智能驱动产业的全球领导者，另一方面应对人工智能的社会治理后果之间取得平衡。
（三）隐私和数据
由于个人数据通常可能会成为人工智能系统的原始材料，所以隐私问题是大多数政策讨论的核心。从医疗保健、交通运输乃至环境保护等领域人工智能所产生的效益往往更加强大。在保护个人权利和最大限度地发挥人工智能为更广泛的公众带来的潜在利益之间取得平衡，是人工智能决策的核心。
（四）创新生态系统和人力资本
世界各国政府都将人工智能的发展视为建立和加强创新生态系统的机会，即促进一国境内的创业和新经济部门，以获得随后的经济利益。在创建强大的技术创新生态系统的过程中，存在多种政策关联。包括研发支出、知识产权保护、基础设施投资、税收政策、住房政策等等。这种政策上的相互联系对于刺激人工智能相关的创新和其他新兴技术相关的创新同样重要。
（五）致命自主武器系统
吉尔·普拉特(GillPratt)，一位前美国国防高级研究计划局(DARPA)的机器人专家，在2015年一篇被广泛引用的论文中指出，机器学习、计算能力、数据和能量存储系统以及传感器的进步将在人工智能机器人领域带来“寒武纪大爆发”，他的意思是“机器人多样化和适用性的大爆发”。对于世界军队来说，人工智能系统的这种进步是不可抗拒的。人工智能领域产生的，运输、供应、后勤、监视以及作战能力方面的进步，远远超过当今任何军队所拥有的。
这就是困境的症结所在。在一个对自主武器系统没有任何约束性和可执行性条约的情况下，各国认为他们别无选择，只能大力发展此类系统。正如哈佛大学肯尼迪学院2017年关于人工智能军事用途的研究报告的作者所言，由于机器优越的作战能力，各州“将面临越来越大的诱惑，要么授予机器更高级别的权力，要么面临失败”。
各国投资技术开发以确保自身安全。正如计算机、全球定位系统技术、卫星和许多其他技术一样，世界各国军方正投入巨额资金用于人工智能开发，因为他们担心在这一关键技术上落后于竞争对手。事实上，美国军方是人工智能研究的全球最大资助者之一:美国国防部认为，相对于地缘政治对手，美国“必须采用人工智能来维持其战略地位”。
作者：临风，学术plus高级评论员
本文转载自微信公众号学术plus返回搜狐，查看更多
科技部谈ChatGPT：将推动人工智能与经济社会深度融合
新京报讯（记者陈琳）2月24日，国新办举行“权威部门话开局”系列主题新闻发布会。科技部高新技术司司长陈家昌在谈到近期引起广泛关注的ChatGPT时表示，科技部将把人工智能作为战略性新兴产业，作为新增长引擎，继续给予大力支持。将推动人工智能与经济社会深度融合，在重大应用场景中锤炼技术，升级迭代，培育市场。
科技部部长王志刚同时表示，在推动人工智能发展的同时，要兼顾科技成果的两面性，加强伦理规范。“我国对于任何一个新的技术，包括AI技术，在伦理方面都采取了相应的措施，对科学技术发展趋利避害，让利更好地发挥出来。”
陈家昌介绍，人工智能作为一个战略性新兴技术，日益成为科技创新、产业升级和生产力提升的重要驱动力量。基于自然语言理解的人机对话是人工智能发展的一个重要方向，ChatGPT最近形成了一种现象级的应用，表现出很高的人机交互水平，表现出自然语言的大模型已经具备了面向通用人工智能的一些特征，在众多行业领域有着广泛的应用潜力。
从人工智能大的发展趋势来讲，有两个非常明显的特点。首先，人工智能对社会经济的发展，具有渗透性、扩散性和颠覆性作用。特别是在科研端，人工智能为生物科学、材料科学、能源科学的一些研究提供了新的方法、新的途径，正在引领科研范式变革。
另外，在互联网、大数据、超级计算、智能计算、脑与认知相关技术的共同驱动下，人工智能领域加速发展，日益呈现群体性突破态势，特别是“智能+”的范式，在制造、交通、医疗等领域都得到了广泛应用。有些黑灯工厂，工序高度自动化、智能化，大大提高了生产能效。在医疗领域，人工智能辅助的诊疗系统，覆盖了3000多种常见病，在27000多家基层医疗机构得到应用，表现出人工智能的渗透性很大。
中国政府非常重视人工智能，2017年国务院制定了《新一代人工智能发展规划》，在规划指引下，科技部成立了人工智能规划推进办公室、战略咨询委员会和人工智能治理专业委员会，这两年也制定了《新一代人工智能治理原则》和《伦理规范》，启动了人工智能重大科技项目，确定了以“基础软硬件”为主体，“基础理论”和“创新应用”为两翼的“一体两翼”研发布局，同时依托龙头企业，建立了一些人工智能开放创新平台，一方面带动中小企业发展，另一方面提升整个行业的技术进步速度。
科技部建设了18个国家创新发展试验区，鼓励各地因地制宜，发展具有各地特色的应用场景。从进展来看，国内学者提出了“神经形态完备性”理论，研发了异构融合类脑芯片，同时国内科研机构研发了中文多模态预训练模型、图文音三模态大模型，从技术水平来讲也都达到了国际先进水平。
陈家昌表示，下一步科技部将把人工智能作为战略性新兴产业，作为新增长引擎，继续给予大力支持。将推动构建开放协同的人工智能创新体系，加快基础理论研究和重大技术攻关；推动人工智能与经济社会深度融合，在重大应用场景中锤炼技术，升级迭代，培育市场；推动建立人工智能安全可控的治理体系；全方位推动人工智能开放合作。
编辑刘梦婕
校对陈荻雁