欧盟将立法严格监管人工智能技术应用
新华社布鲁塞尔5月11日电（记者任珂）欧洲议会两个委员会11日通过《人工智能法案》提案的谈判授权草案，向立法严格监管人工智能技术的应用迈出关键一步。
欧洲议会当天发表声明说，议会内部市场委员会和公民自由委员会以压倒多数通过欧盟委员会于2021年4月提出的《人工智能法案》提案的谈判授权草案。新文本将严格禁止“对人类安全造成不可接受风险的人工智能系统”，包括有目的地操纵技术、利用人性弱点或根据行为、社会地位和个人特征等进行评价的系统等。
谈判授权草案还要求人工智能公司对其算法保持人为控制，提供技术文件，并为“高风险”应用建立风险管理系统。每个欧盟成员国都将设立一个监督机构，确保这些规则得到遵守。
这一草案将于6月中旬提交欧洲议会全会表决，之后欧洲议会将与欧盟理事会就法律的最终形式进行谈判。欧洲议会的声明说，一旦获得批准，这将成为全世界首部有关人工智能的法规。
【纠错】【责任编辑:赵文涵】欧盟《AI法案》简析
指AI系统对于人的安全、生命和基本权利有明显的威胁。具有不可接受的风险的AI系统或应用程序应当被禁止。这种情形包括AI系统或应用程序对人行为的操控，以及对人自由意志的规避，具体包括以下几个方面：
通过超出人感知范围的潜意识技术扭曲人的行为，导致或很可能导致被操控人或其他人心理或身体的损害；通过暴露特定人群的年龄、身体或心理残疾等弱点，从而扭曲人的行为，导致或很可能导致被操控人或其他人心理或身体的损害；在一段特定时间，公共权力机构或代表公共权力机构使用AI系统通过人的社会行为，获知或预判他们的人格特质。就人的信用，对自然人进行评估或分类从而进行评分；（2）
高风险
主要指AI系统被用于产品安全性组件（比如机器、无线电设备、机动车等）并且该组件需要进行第三方遵从测试的情形。除此之外，《AI法案》还以列举的方式，列出了以下可能影响基本权利，进而被视为高风险的所谓“独立AI系统”：
关键基础设施的管理和运作安全;教育和职业培训(进入机构或学生评估);招聘或者其他人力资源决策;评价个人的信誉;评估一个人获得公共援助福利和服务的资格;以可能干扰基本权利的方式执法;处理和审查庇护和签证申请以及边境管制;协助法官研究和解释事实和法律，并将法律适用于事实[8]。高风险AI系统面临着法案设置的诸多强制性要求。只有当这些合规性要求被满足并预先经过有关部门评估合格，这类AI系统才能够真正进入市场并投入使用。这些强制性要求包括：
建立充分的风险管理系统；使用高质量训练、验证和测试的数据集；准备反映AI系统的所有必要信息和目的的技术性文件以评估系统的合规性；开发日志记录能力，以便自动记录，确保系统运作的可追踪性;应向用户提供关于AI系统操作的适当透明度和清楚的信息；确保人类对于AI系统在使用时的有效监管；达到高水平的准确度、稳健性和网络安全性[9]。经提供者评估后被视为符合高风险性AI系统强制性规定范围内的AI系统，应附有“CE”合规标志。对于“独立AI系统”，授权代表还须在欧盟建立的专用数据库中予以注册[10]。除了提供者承担的上述义务外，《AI法案》亦规定，高风险AI系统的进口商、分销商和使用者有责任确保这些产品在投放市场前符合监管要求，并确保产品的安全使用。
（3）
非高风险
对于所谓的“非高风险”AI系统，即低风险和最小风险的AI系统，《AI法案》遵循比例性原则，通过为此类AI系统设定对用户及相关人群的透明度义务进行较为有限的规制，这种AI系统包括聊天机器人或deepfake换脸等。这类AI系统当与人类互动时，仅需提供信息，使人类意识到自己是在与机器而非自然人对话，并无需承担额外的法律义务。
违反《AI法案》的惩罚力度甚至可能高于被称为“史上最严格数据保护立法”的GDPR。对于违反禁止性要求以及AI系统训练、验证和测试数据集质量要求的情形，企业可能面临着高达3000万欧元或全球年营业额6%的处罚；对于其他违反《AI法案》设置的要求和义务的情形，企业可能面临着2000万欧元或全球年营业额4%的处罚；在负有信息提供义务的情形下，对于提供错误、残缺或误导性信息给相对方或国家主管机关的企业，罚金为1000万欧元或2%的全球年营业额。
我们认为，与GDPR相同，这部欧盟《AI法案》的提案以保护人的基本权利为出发点，以AI系统对公民基本权利的威胁程度对系统进行划分，对不同等级的AI系统提出了不同的合规要求，并施以不同强度的监管。若将来顺利出台，势必会成为欧盟人权法律体系的又一重要法案。我们可以看到，《AI法案》的关注重点与GDPR高度相似，例如人的年龄、种族、身体状况等可能造成人在社会中遭受歧视的因素，都被视作划分AI系统风险的依据。但从另一方面来看，《AI法案》对于某些AI系统和技术的监管可能相对严格，比如完全禁止某些AI技术的使用，有可能在全球各国紧锣密鼓进行AI战略部署、大力支持AI产业布局的大背景下，一定程度上阻滞欧洲AI技术的落地和AI产业的发展，从而对欧盟经济社会的发展产生一定的负面影响。但《AI法案》以“安全”和“非歧视”为原则，对AI进行风险分级的立法手法，也许会给世界其他各国AI立法提供启发。《AI法案》目前尚仍处于欧盟委员会的提案阶段，但EDPB和EDPS在6月21日的联合意见中已对该法案表现出了较为肯定的态度。尽管如此，根据欧盟立法程序，《AI法案》还需经过欧洲议会和欧盟理事会审议并修改，到最后颁布生效还需要两至三年的时间。这部法案未来走向如何，我们也将持续跟进。
[注]
[1]RegulatingArtificialIntelligence:EuropeanCommissionLaunchesProposals,JonesDay,https://www.jonesday.com/en/insights/2021/04/regulating-artificial-intelligence-european-commission-launches-proposals,lastvisited22-06-2021.
[2]ProposalforaRegulationoftheEuropeanParliamentandoftheCouncillayingdownharmonizedrulesonartificialintelligence(ArtificialIntelligenceAct)andamendingcertainUnionlegislativeActs,EuropeanCommission,p3.
[3]Ibid,“technologyneutral”,p12.所谓技术中立原则，主要指法律应对科学技术一视同仁，不应把对某一特定技术的理解作为作为法律规定的基础，从而歧视其他形式的技术。既不能要求或采用某种特定的技术，也不能通过立法限制技术的发展。
[4]Ibid,“futureproof”,p12.所谓面向未来原则，主要指立法应尽可能避免因未来技术的更新迭代而产生矛盾。
[5]Ibid,p12.
[6]Ibid,Article2,p38.
[7]Ibid,p3.
[8]EuropeanCommissionproposesarisk-basedapproachtoregulateuseofAI,SCL,https://www.scl.org/news/12247-european-commission-proposes-a-risk-based-approach-to-regulate-use-of-ai,lastvisited22-06-2021.
[9]Ibid.
[10]Ibid,Article51andArticle60.
TheEnd
作者简介
丁恒律师
上海办公室合伙人
业务领域：跨境投资并购,反垄断和竞争法,网络安全和数据保护
特色行业类别：能源与自然资源
胡运思
上海办公室公司业务部
作者往期文章推荐
《中国企业进入日本市场应注意的若干日本法问题（下）》
《要点解读》
《中国企业进入日本市场应注意的若干日本法问题（上）》
《一文读懂日本安全保障贸易管理制度》
《2020年上海市商业贿赂执法案例评析（下）》
《2020年上海市商业贿赂执法案例评析（上）》
《一文解读》
《竞争者间信息交换的反垄断法风险浅析》
《解读自动驾驶行业准入法律门槛》
《一文详解企业复工实操及合规管理》
特别声明：
以上所刊登的文章仅代表作者本人观点，不代表北京市中伦律师事务所或其律师出具的任何形式之法律意见或建议。
如需转载或引用该等文章的任何内容，请私信沟通授权事宜，并于转载时在文章开头处注明来源于公众号“中伦视界”及作者姓名。未经本所书面授权，不得转载或使用该等文章中的任何内容，含图片、影像等视听资料。如您有意就相关议题进一步交流或探讨，欢迎与本所联系。返回搜狐，查看更多
欧盟《人工智能法案》进入最终谈判阶段
14日，欧洲议会全体会议表决通过了《人工智能法案》授权草案，该法案进入欧盟立法严格监管人工智能技术应用的最终谈判阶段。
欧洲议会当天投票决定禁止实时远程生物识别技术，如不能在公共场合进行实时人脸识别，并对ChatGPT等生成式人工智能工具增加更多安全控制措施，提出新的透明度要求，以确保人工智能的研发和应用符合欧盟权利和价值观。
据欧洲议会网站消息，欧洲议会“为制定史上首部人工智能法案已经做好谈判准备”。按照立法议程，欧洲议会将就这一授权草案与欧盟委员会和成员国进行“三方”谈判，欧洲立法者希望在今年年底前就法案的最终版本达成共识。
今年5月，欧洲议会内部的市场委员会和公民自由委员会通过欧盟委员会于2021年4月提出的《人工智能法案》提案的谈判授权草案。欧洲议会声明，这部提案如正式获得批准，将成为全世界首部有关人工智能的法规。
该法案将适用于在欧盟境内将人工智能系统投放市场或投入使用的实体（无论该实体是在欧盟境内还是在第三国）、在欧盟境内使用人工智能系统的实体以及在第三国使用人工智能系统但系统的输出用于欧盟境内或对欧盟境内人员产生影响的实体。
该法案草案的一个突出特点是注重基于风险来制定监管制度，以平衡人工智能的创新发展与安全规范。草案将人工智能风险分为不可接受的风险、高风险、有限的风险和极小的风险四级，对应不同的监管要求。其中高风险人工智能的使用必须受到严格监管，系统提供者和使用者都要遵守数据管理、记录保存、透明度、人为监管等规定，以确保系统稳定、准确和安全。对于违反规定者，草案设定了最高3000万欧元或全球年营业额6%的罚款。
最新草案严格禁止对人类安全造成不可接受风险的人工智能系统，包括部署潜意识或有目的操纵技术、利用人们弱点或用于社会评分的系统，并扩大了人工智能高风险领域的分类，将对人们健康、安全、基本权利或环境的危害考虑在内。草案还要求人工智能公司对其算法保持人为控制，提供技术文件，并为“高风险”应用建立风险管理系统，还针对ChatGPT等生成式人工智能设立专门监管制度。每个欧盟成员国都将设立一个监督机构。
此外，引进监管沙盒机制以管控风险和促进创新，在人工智能系统入市或投入使用前，对人工智能系统进行开发、测试和验证降低风险。最新草案文本还提出，这一机制同样被允许用于在现实条件下测试创新人工智能，以鼓励人工智能企业持续创新。
清华大学自动化系教授陶建华在接受记者采访时说，欧盟试图建立一个统一的人工智能法律监管框架，是全球人工智能发展进程中一个重要的标志性事例。其对人工智能进行有效法规约束的探讨和尝试都会产生全球性的影响，可能引发越来越多的国家尝试跟进相关法规的探索。
竞天公诚律师事务所合伙人袁立志认为，欧盟推动人工智能立法，有利于保护基本人权、维护欧盟在数字主权和科技领域的领导地位，并通过这样一部综合性立法抢占全球人工智能监管先机。但其本身具有局限性。它采用的是横向立法，并非针对特定人工智能应用领域，而是试图把所有人工智能都纳入监管范围，在执行层面将面临大量的解释问题。
陶建华指出，欧盟并未就人工智能技术可能会给人类带来什么样的影响形成共识。从辨证的角度看，人工智能既能造福和服务人类，但如若用之不善，也会给人类带来威胁或伤害。因此，如何平衡创新和约束是欧盟立法面临的一个非常重要的挑战。但在追求创新和管控创新可能带来的危害之间寻求一个有效平衡，很大程度上是使用者的问题。如何对使用者进行有效监管，也是欧盟人工智能立法面临的一大挑战。此外，统一的法律框架并未涉及具体的法律规范，因此实际的执行效果上可能会“大打折扣”。（刁泽）
中国保护知识产权网
几周前，欧洲议会联合报告员发布了欧盟《人工智能法案》的第一版折衷的修正案，该修正案成为了议会技术讨论的基础。
《人工智能法案》在欧洲议会内部市场委员会和公民自由委员会收到了3000多份修改意见，这些委员会都是修正案的联合牵头机构。这一版修正案是欧盟在不同政治团体之间寻求妥协的第一次尝试，但目前，它只代表了联合报告员的观点。
一位欧洲议会官员向媒体欧洲动态（EURACTIV）表示：“联合报告员在寻找争议最小的部分方面做得非常出色。”
主要的立法者希望能够在暑假前取得一些进展，并计划在秋季深入讨论那些争议更大的话题。
适用国家主管机关的程序
这一版折衷修正案中最重要的一个变化是，两位立法者完全删除了关于合格评定程序减损（derogation）的规定。
这一紧急程序将允许任何国家主管机关暂时绕过被认为在公共安全、人民健康、环境保护或关键基础设施保护方面至关重要的人工智能系统的市场授权。
其余的修改主要涉及设立公告机构的行政程序和要求。这些公告机构将在人工智能系统投放到市场之前评估其是否符合欧盟规则。
欧洲议会的议员们希望负责授权和监督这些合格性评估机构运作的国家机关能够配备有能力保护基本权利的人员。
当合格评定机构被认为符合该法案相关要求时，这些主管机关必须通知欧盟委员会。欧盟执行机构或其他成员国可在收到通知后的两周内对该机构的资格认证提出质疑。
如果有异议，欧盟委员会将与相关成员国进行协商，但布鲁塞尔的欧盟委员会总部将通过二级立法拥有最终决定权。委员会将对主管机关之间最佳实践的交流进行协调。
对公告机构的要求
公告机构必须确保能够及时评估，特别是对中小型企业的评估，严格遵守保密义务，并符合经修订的《网络和信息安全（NIS2）指令》的网络安全要求。
合格评定机构不得与被评估的人工智能服务提供商有任何利益冲突，对高风险系统提供商采取严格的“反旋转门”（anti-revolving）规则。尽管如此，他们仍将能够使用以人工智能为驱动的工具进行评估。
公告机构提供的合格证明的期限从5年缩短到4年。当这些机构发现人工智能系统不再符合要求时，可以暂停或撤销证书。
国家主管机关需要确保人工智能服务提供商可以对公告机构的决定提出申诉，包括那些与已颁发证书有关的决定。
合格文件
人工智能服务提供商必须保留针对高风险系统的欧盟合格声明，保留期限为10年或整个系统生命周期，以较长者为准。该文件必须就如何遵守人工智能规则手册和欧盟数据保护法的情况进行详细说明。
已通过人工智能和数据保护规则的合格评估的高风险人工智能系统将在其投放到市场之前拥有欧洲合格的物理或数字标志。
标志将附有能够证明系统合格的机构识别号。
关于在公共数据库注册高风险人工智能系统的要求的对象已从人工智能服务提供商扩展到使用此类系统的公共行政机构。公共数据库必须向残疾人开放。
技术标准
主要的欧洲议会议员希望欧盟委员会在该法生效后的两个月内发布关于技术标准的请求。这些请求需要具体说明的是，技术标准必须与其他欧盟规则（包括部门规则）保持一致，并易于实施。
此外，“标准化过程应确保均衡地代表各相关方的利益，并且所有有关的利益相关者都能够有效参与”，因为标准化组织一直被指责不听取公民社会的声音。
如果标准化过程出现不适当的延迟或要求被驳回，则委员会可通过二级立法针对关于健康和安全、消费者和环境保护以及其他出于公共利益原因的要求采用通用规范。
这些规范将在相关标准生效时失效。然而，如果涉及具体的基本权利问题，委员会可以随时采用上述要求。
在起草此类规范时，欧盟执行机构必须与国家主管机关、标准化机构、专家和行业代表协商，以阐明他们为什么不采用标准。
除上述内容之外，修正案文本序言中还增加了一段，规定“当人工智能系统计划在工作场所进行部署时，协调标准应仅限于技术规范和程序”。（编译自www.euractiv.com）
翻译：王丹校对：刘鹏
免责声明：本网转载或编译文章原文均来自网络，不代表本网观点或证实其内容的真实性。若有来源标注错误或涉及文章版权问题，请与本网联系，本网将及时更正、删除，谢谢。欧盟《人工智能法案》遭遇绊脚石
继2022年欧盟推出旨在加强在线服务竞争的《数字市场法》，以及删除非法有害在线内容、保护用户数据的《数字服务法》后，欧盟又在加快推动人工智能立法。欧盟内部市场委员蒂埃里·布雷顿表示，这项立法将帮助人们解决对新近大热的ChatGPT聊天机器人乃至人工智能技术风险的担忧。
然而，近日欧洲议会未能就《人工智能法案》的基本提案达成一致，使得该提案最终获批遭遇绊脚石。
2021年4月，欧盟委员会提出了《人工智能法案》条例草案。去年12月6日，欧盟理事会通过了关于《人工智能法案》的共同立场，旨在确保投放到欧盟市场并在欧盟范围内使用的人工智能系统是安全的。
这一提案对人工智能系统的定义、禁止人工智能应用的领域、人工智能系统的高风险分类、与执法机关有关的范围和规定、支持创新的措施等方面进行了阐述。欧盟希望通过该法案为人工智能在整个单一市场的发展制定一个统一、横向的法律框架，既能推动人工智能的投资和创新，又能促进保障公民基本权利和安全的现行法律得到有效执行和加强。欧盟理事会表示，这样法案将与其他倡议齐头并进，包括旨在加快欧洲人工智能投资的《人工智能协调计划》。
负责数字政策和竞争事务的欧委会执行副主席玛格丽特·韦斯塔格在草案提出时说，即将出台的欧洲规则将有助于制定“新的全球规范，确保人工智能可以被信任。”捷克负责数字化事务的副总理兼地方发展部长伊万·巴尔托什也表示，人工智能对我们的未来至关重要。欧盟设法实现一种平衡，一方面注重人工智能发展带来的所有好处，另一方面是充分尊重公民的基本权利，这将促进整个欧洲的人工智能技术的创新和发展。
然而，提案的推进并没有预想中顺利，目前欧洲议会议员们尚未就提案的基本原则达成一致。他们争议的核心是监管是否会阻碍创新，即如何平衡数据隐私与避免扼杀人工智能的创新和投资。其中最具争议的领域是决定哪些人工智能系统将被归为“高风险”。
绿党议员谢尔盖·拉戈金斯基说，议员们之间明显的冲突在于，一方面是对公民基本权利的关注，另一方面是担心这些约束必然将与创新产生冲突。业界对《人工智能法案》也存在广泛争议，有的人认为此类法规对于禁止有风险的不当行为是必要的，但严格限制通用开源人工智能的使用、共享可能被视为一种倒退，不利于科技发展。而另一方则坚称，加强对公司使用人工智能系统的审查十分必要。
渣打银行数据管理风险和人工智能主管维贾伊·贾伊拉杰表示，在进行隐私评估之前，不会进行人工智能项目。他预计欧盟即将出台的立法将迫使公司密切关注人工智能产品的第三方供应商。一旦监管机构发现人工智能系统存在风险，他们需要向欧盟国家提供有关技术和供应链的细节。
国际隐私专业人士协会首席研究员凯塔琳娜·柯纳说，虽然公司可能意识到了人工智能的风险，但他们缺乏正确处理这些风险的工具和指导方针。她认为，到目前为止，欧洲监管机构还没有就公司解释其人工智能算法的能力或避免歧视等主题提供详细的指导方针。
此前外界预计备受期待的《人工智能法案》将于3月底在欧洲议会进行表决，届时欧盟各国家将开始谈判立法的最终条款。然而，分析人士指出，鉴于提案内容很长且相当复杂，欧洲议会议员们仍在协商，以便能够达成协议。现在明确下一步的最后期限还为时尚早，立法可能因遭遇瓶颈而推迟。