欧盟《人工智能法》提案的背景与意义关于人工智能立法的基本出发点

发表时间：2023-07-04 02:50:17

欧盟《人工智能法》提案的背景与意义

吴沈括：网络法治国际中心执行主任、博导，中国互联网协会研究中心副主任

胡然：网络法治国际中心研究助理

本文是国家社会科学基金项目（批准号：15CFX035）的阶段性成果

2021年4月21日，为了将欧洲变成值得全球信赖的人工智能中心，加强整个欧盟范围内对于人工智能的使用、投资和创新，欧盟委员会通过了《人工智能法》提案，旨在建立关于人工智能技术的统一规则。提案不仅对人工智能技术在诸如汽车自动驾驶、银行贷款、社会信用评分等一系列日常活动中的应用设定了限制，而且还对欧盟内部的执法系统和司法系统使用人工智能的情形提出了相应的问题规制路径。值得注意的是，此次欧盟针对人工智能领域作出的关键立法，也意味着对该领域的数字治理问题提出了新的要求，侧面反映了人工智能技术的治理与发展应当在《通用数据保护条例》（GDPR）的有效监管下进行，即按照与GDPR一致的方式进行统一部署。总体而言，此份提案作为欧盟早前发布的人工智能战略中的前沿立法，其采用具体法律框架的形式与各成员国实施的协调计划积极结合，以保障公众和企业的隐私安全和基本权利为主要出发点，进一步明确了人工智能技术在不断更新和发展的同时，应当满足于当前世界范围内对于符合社会基本价值观与发展新兴技术两者间的平衡要求，从而使欧洲公众能够加强对人工智能技术所提供的产品和服务的信任。

一、欧盟委员会《人工智能法》提案的出台背景与制度设计

在过去的十年里，人工智能技术经历了快速的发展。已经获得了坚实的科学基础，并形成了许多成功的应用模式，其为经济、社会和文化发展、能源可持续性、更好的医疗保健和知识传播提供了丰富的机会。但与此同时，这些机会伴随着潜在的风险，如失业、不平等、就业歧视、社会排斥、不知情的监督和操纵等。考虑到这些潜在风险的存在，欧盟委员会自人工智能技术问世以来，持续促进和加强欧盟各地在人工智能技术方面的合作，在符合欧盟价值观的背景下以提高其技术竞争力为主要目标。根据欧盟委员会的定义，人工智能技术是指采用官方所列明的一种或多种技术和方法开发的软件，并且能够针对特定人群或具体目标产生诸如内容、预测、建议或决定等一系列影响其交互环境的输出技术。

关于人工智能在欧盟的发展现状与前景，欧盟委员会数据执行副主席MargretheVestager表示：“在人工智能领域，公众信任是必须存在的，而对其进行监管和规制是建立这些信任的最佳方式。只有存在具有里程碑式的监管规则，才能确保人工智能值得信任。欧盟对人工智能技术采取的规则将面向未来的创新与进步，并在欧盟公民的安全和基本权利受到威胁时进行干预。”基于此种观点，《人工智能法》提案应运而生，鲜明体现了欧盟在人工智能领域积极引领制定新的全球规范的意图。

提案的总体目标在于为全球范围内人工智能技术的应用与发展制定详细标准，及为符合道德和法律双重标准的人工智能技术铺平道路，并确保欧盟在此过程中保持技术竞争力，从而有效加强欧洲作为全球卓越人工智能中心的地位，使欧洲人工智能技术的发展符合欧盟的总体价值观和规则。关于提案的适用对象，其明确指出了几类主体范围，分别为将人工智能系统投放市场或投入使用的供应商、欧盟领域内人工智能系统的使用者、位于第三国的人工智能系统的供应商和使用者。基于欧盟意识到人工智能技术对欧洲价值观和基本权利及原则的风险的影响，提案对人工智能采取了考虑风险但总体审慎的方法，将人工智能技术可能带来的风险划分为四个层级：

1、不可接受的风险。此类风险被欧盟认为将会对公民的安全、日常生活和基本权利构成明显威胁，故予以明令禁止，如操纵人类行为来规避用户的自由意愿的人工智能技术或应用程序，最典型的例子为使用智能语音辅助的玩具来鼓励未成年人从事危险行为。

2、高风险。提案未对人工智能技术高风险的具体含义进行说明，但将人工智能技术可能发生高风险的覆盖领域详细归纳为关键基础设施、公民教育、产品的安全组件、公民就业、公共服务、涉权型执法、出入境问题、司法和民主进程等八类。

此外，提案强调了所有远程生物识别系统都应被划入高风险的范围。部分成员国业已出台法律对该系统进行限制的，应当与此份提案所规定的内容保持一致。对于远程生物识别系统的禁止情形，提案特别规定了相应的豁免条款，即原则上禁止在公众可进入的空间和场所内使用远程生物识别系统，但出于执法目的的某些例外情况可经司法或其他独立机构授权予以使用，如在非常紧急的情况下搜寻失踪儿童，防止迫在眉睫的恐怖主义威胁，侦查、定位、识别或起诉严重刑事犯罪的犯罪嫌疑人等，但必须对在时间、地理范围和搜索的数据库方面进行适当限制。

除此之外，提案还详细规定了存在高风险的人工智能技术在投放市场之前必须履行七种严格义务，而这些义务在人工智能系统投放市场或投入使用前以及在整个生命周期内都要接受审查，具体包括：

（1）完备的风险评估系统；（2）向系统提供高质量的数据集，以将风险和歧视性结果降至最低；（3）记录活动以确保结果的可追溯性；（4）提供有关系统及其目的的所有必要信息，以供当局评估其合规性；（5）向用户提供清晰、充分的信息；（6）采取适当的人为监督措施，将风险降至最低；（7）高水平的安全性和准确性。

3、有限的风险。此类风险具体指的人工智能系统包含特定透明度义务。因特定透明度义务的存在，故当用户使用人工智能系统时，能够意识到其本身正在与人工智能系统进行交互，即在用户知情的情况下提供给用户方决定继续运行或中止的权利。

4、极小的风险。如提案允许免费使用人工智能视频游戏或垃圾邮件过滤器等应用程序等。绝大多数人工智能系统都属于此类风险。值得一提的是，欧盟认为这些人工智能系统对公民的权利或安全产生的风险极小，甚至无法产生风险，故提案并未对较小的风险进行干预。

在人工智能的治理主体方面，提案指出人工智能系统的设计和开发应当保证在使用过程中能够受到公民的监督，故其规定由国家主管市场监督机构监督新规则，在未来可以建立一个欧洲人工智能委员会来促进新规则的实施和推动人工智能标准的制定，并由其来承担各种复杂的任务，如协助国家主观市场监督机构来确保提案的一致适用、发布就人工智能技术发展的相关意见和建议、在成员国之间收集和分享最佳实践等。

为此，提案还提出了鼓励不属于高风险范围的人工智能技术的提供者制定行为守则，促进自愿采纳适用于高风险人工智能技术的强制性要求，并提出了监管沙盒模式以促进人工智能领域的创新。在人工智能技术规制措施的执行方面，提案规定由各成员国根据各国不同情况予以严格执行。对于创建和应用人工智能技术的公司或企业，提案规定了在八种高风险领域范围内使用人工智能技术，将会有严格的防护机制，若企业违反规定将处以高达3000万欧元的行政罚款或者其全球年度总营业额的2%至6%，取两者之中较高金额进行处罚。

目前，提案已经提交给欧洲议会和欧洲理事会进行进一步的审议和分析，若经通过，将会在欧盟官方公报上公布二十天后生效，并将在生效后的两年内持续适用。鉴于人工智能技术涉及到大量的利益相关者，存在一定的争议性，故欧盟方认为该提案具体落实于公民现实生活的过程仍然道阻且长。

二、欧盟委员会《人工智能法》提案与欧盟《通用数据保护条例》（GDPR）

众所周知，人工智能技术与个人数据长期保持着较为紧密的联系。人工智能的应用程序在处理个人数据时，一方面个人数据有助于建立其算法模型，另一方面这些模型也可以应用于个人数据，从而判断有关特定个体的差异性。人工智能对个人数据产生了日益强烈的需要，而这种需要刺激了数据收集并促进了大量数据集的创建。人工智能与大数据的融合可以为经济、科学和社会的进步带来诸多好处，借助于人工智能，各种个人数据都可以用来分析、预测和影响人类行为，这是一个将这些数据及其处理结果转化为有价值商品的机会。特别在许多情况下，自动化的预测和决策不仅成本更低，而且比人类的预测和决策更精确、更公正，因为人工智能系统可以避免人类心理的典型谬误，并且可以受到严格的控制。

与保护个人数据的GDPR相联系，欧盟委员会《人工智能法》提案规定的内容意味着对人工智能技术在收集和掌握个人数据方面将会产生积极意义，从而有效作用于GDPR中个人数据的使用和保护。尽管GDPR中没有明确提到人工智能一词，但GDPR中的许多条款与人工智能相关，有些条款确实受到人工智能启用的新的个人数据处理方式的挑战，如GDPR允许开发人工智能和大数据应用程序，成功地平衡数据保护和其他社会经济利益，但它对如何实现这一目标仅提供了有限的指导。作为欧盟范围内保护个人数据的重要条例，GDPR确实充斥着模糊的条款和开放的标准，而这些条款和标准的应用往往需要平衡相互竞争的利益。在人工智能应用中，技术的新颖性、复杂性以及其个人和社会影响的广泛性加剧了不确定性。显然，《人工智能法》提案的出台将会在此方面予以明确和规制，从而有效保护人工智能使用和发展过程中个人数据的流通与收集。

此外，《人工智能法》提案特别规定了从事人工智能处理的控制者应当采取负责任和风险导向的方法，同时鉴于问题的复杂性以及GDPR中存在的模糊性，不应让控制者单独参与这项工作，力求在最大程度上与GDPR所倡导的价值观相契合。此举可以通过与现有技术和经济盈利能力相兼容的方式来实现，或者在公共当局处理的情况下以可持续的方式来实现公共利益。

总之，随着《人工智能法》提案的问世，欧盟各机构仍可能会继续促进对人工智能应用的广泛讨论，并进一步提供高水平的指示。欧盟数据保护当局需要积极参与和所有利益相关者的对话，包括人工智能系统的控制者、处理者和社会公民，以便根据共同的价值观和有效的技术制定适当的应对措施。当GDPR所规定的数据保护原则的一致应用与有效使用人工智能技术的能力相结合时，可以通过《人工智能法》提案所指出的产生信任和预防风险的方式，为人工智能在未来的成功应用做出贡献。

三、欧盟委员会《人工智能法》提案与欧盟《人工智能战略》

2018年3月27日，欧洲政治战略中心发布了《人工智能战略》，主要从三个方面介绍了欧洲人工智能技术的现状与未来：全球范围内人工智能技术的研发投入情况、欧洲范围内人工智能技术的发展情况、人工智能技术发展过程中存在的问题与挑战。就战略的总体目标而言，其指出人工智能技术的发展趋势已不可阻挡，预计到2030年，人工智能将为全球经济贡献12.8万亿欧元，相当于全球GDP的14%。为了在世界范围内的人工智能技术发展中取得领先地位，欧洲需要解决潜在的社会风险，并建立起完善的欧盟人工智能科技。这需要欧盟委员会领导的明确行动计划来实现，该计划应注重在欧盟层面培养必要的专业知识，以检测欧洲人工智能技术的运行。不可否认，当前数字市场的演进十分迅速，在人工智能带来大量好处的同时也意味着可能会对经济和社会造成不稳定的影响，如导致劳动力剩余、个人信息失去控制、在线平台加剧垄断现象等，而仅仅依靠市场力量很难及时有效地处理上述这些问题。

申言之，此次《人工智能法》提案的出台，标志着欧盟正在积极为三年前发布的《人工智能战略》建立具体的规制立法，从而取得监管与限制人工智能技术所带来的潜在风险与不良影响的合法性基础，并辅之以具体的执行措施，以应对未来在人工智能领域可能会层出不穷的风险和问题。此外，战略还曾指出为了应对人工智能的挑战，欧洲需要一个全面涵盖商业和公共管理的战略部署，除了为人工智能的发展创设有利环境外，还必须基于广泛认可的价值观和原则来建立全球监管规范和框架，以保证人工智能的发展以人为本。值得注意的是，《人工智能法》提案重申了该内容，即符合社会基本价值观与发展新兴技术两者之间应当取得有效平衡，并进一步规定了诸多措施和办法力图使人工智能技术的不良影响降至最低。

总而言之，《人工智能法》提案的出台，是《人工智能战略》实施计划中的重要一环，预示着欧盟已经开始针对人工智能领域的规制和监管采取了积极的立法措施，并在《人工智能战略》的引导和指示下不断增强对潜在风险的预警和处理，积极明确提案的规制对象与规制范围。可以预见，未来欧盟将会持续加大对人工智能技术的投资，并会严格按照《人工智能法》与《人工智能战略》所规定的内容进行严格的规制和监管，使人工智能技术在符合欧洲基本价值观的前提下进一步加强其技术研究与应用实践。

声明：本文来自数字经济与社会，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系anquanneican@163.com。

崔文成：浅谈人工智能的法律地位

原创崔文成上海市法学会收录于话题#法学106#核心期刊106#原创首发106#上海法学研究72

崔文成中国政法大学研究生院硕士研究生。

内容摘要

关于人工智能的法律地位，学者主要持客体说和主体说两种，也有学者持折中说观点。主要从三派学者的观点入手，通过对学者观点的整合分析，并以此为视角阐述人工智能的法律主体地位的原因和制度设计，以期能支持人工智能的法律主体地位。

关键词：营商环境电商平台自律管理

随着人工智能的不断发展，其在社会生活中所处的地位愈加重要，人工智能法律地位的讨论愈发激烈。关于人工智能的法律地位是主体说还是客体说的争议，不同的专家学者对其有各自的看法并进行了相关的论述。笔者旨在通过对现有几位学者关于人工智能的法律地位争论观点的分析整合，阐述人工智能的法律主体地位的原因和制度设计，支持人工智能的法律主体地位。

一

学界目前理论

（一）

客体说

工具说

人工智能是法律关系客体，不具有法律主体地位，是客体说的主要观点。其具体划分根据所持理由的不同有所区别，本文主要涉及工具说，软件代理说和道德能力缺乏说。

该说认为人工智能本质是工具，是人创造出来的，目的是为人类服务，其不能成为法律关系主体。在涉及人工智能的法律问题中，对于其致人或物损害的问题，可以适用产品责任的归责原则。也即在人工智能领域，涉及的追究责任的主体包括所有参与人工智能产生、设计和使用的主体。当然，该学说存在着局限性。第一，工具说针对的是当下弱人工智能提出的，缺乏与人工智能不断发展相匹配的思考，这也是客体说的普遍问题。第二，该学说无法对已经获得国籍或者户籍的人工智能现状进行合理化解释。第三，产品责任的归责原则可能会对生产者、使用者等的积极性产生影响。

学者认为首先从哲学基础与法理根据两方面分析法律主体，认为法律主体需具有理性以及实体性基础、实益性基础和法技术基础三方面，否定人工智能具备成为法律主体的哲学和法理依据。之后，对人工智能的法律地位进行主体地位的否定和客体地位的合理性两方面的分析，以肯定人工智能的自主性，但是，出于对人工智能的规制的需要，需得从法律上认为其是法律上的特殊物而赋予其法律客体地位。

软件代理说

该观点认为人工智能是软件代理，不具备法律主体地位，只起到中间的媒介功能——传递信息。其具有和工具说相同的局限性，也就是没有看到人工智能不断向上的发展趋势，尤其是在人工智能具有深度学习和类人化神经元思考能力之后，其自身的算法已不是单纯的软件所能替代的。

道德能力缺乏说

该学说认为人工智能是法律客体的原因在于其定义了法律主体地位的特征，也就是，只有具备道德认知能力的人才具有法律主体地位。然而，要知道，“道德主体必然为法律主体，但法律主体未必是道德主体”，二者存在根本不同。既然人工智能由人类创造和设计，如果人类在创造过程中将“道德能力”的相关算法内置于人工智能之中，使得具备遵守道德规范的能力，是否还可以以人工智能的道德能力缺乏而否认其法律主体地位就有待商榷了。

（二）

主体说

代理人说

该学说认为人工智能处于代理人的地位，代理人是法律关系中的主体人，也即人工智能具有法律主体地位。换而言之，人工智能的“所有者”，可能是用户也可能是操作者，其与人工智能是法律代理关系中的被代理人与代理人的关系。当代社会，欧盟的法律提出“非人类的代理人”的概念。俄罗斯的法律中，提出了“机器人-代理人”的概念，也就是赋予人工智能法律地位，规定其对财产拥有的自主权利，可以对属于自己的债务负责，进一步说，其在法律上被赋予了民事权利和民事义务。

电子人格说

电子人格说支持人工智能具备“电子人”地位，也就是说人工智能具备法律人格，其人格是电子人格。欧盟议会法律事务委员会在2017年其向欧盟委员会提交的相关报告中提到，从长期发展的角度为人工智能创立独特的法律地位，最起码应当将具备“自主性”的机器人承认其“电子人”地位，使其承担与行为性质相适应的损害赔偿责任，所谓“自主性”是指人工智能自主决定或者与自主决定相类似性质的行为引发的案件。

我国学者郭少飞也持此观点。该学者通过对人工智能时代的人机关系的分析，厘定“电子人”的概念，并从法律论证和法外考量两方面对“电子人”法律主体地位进行阐述。其对“电子人”主体的法律论证包括实践基础、法史基础和本体分析三部分；在经济、社会、文化、伦理、哲学等多方面对“电子人”主体进行法外考量，从法律的历史、人工智能的本身、现实以及社会生活的主要方面，充分肯定人工智能在电子人格定义范围内法律主体地位的现实性和可行性。

有限人格说

该学说基于人工智能并不能完全承担责任的地位和能力的认定，认为其具有“有限”人格。也就是有限人格说肯定人工智能具备法律主体地位，但是其地位存在有限性。这就涉及进一步对“有限”一词进行分析和界定，明确人工智能法律人格有限性的所在。

学者袁曾持有限人格说的观点。学者首先对人工智能的法律人格规制缺位现状进行了阐述；其次从人工智能的法律主体特殊性、法律权利和法律责任三方面肯定其法律人格；进而，又通过对人工智能相关的域外立法分析、适用特殊的法律规制标准以及责任分配侵权规制三方面明确人工智能法律人格的有限性；最后对人工智能的有限人格进行归责、防范风险、监管和立法方面的规制设置。

人格拟制说

该学说认为应通过法律拟制赋予人工智能与胎儿一样的法律人格。但是，法律拟制在无立法予以确认的前提下，在现行法的框架之内，人工智能的法律主体地位不能确定。

学者杨清望，张磊持法律人格拟制说。学者们首先从历史和现实两个角度阐述人工智能被赋予独立法律人格的必然性，同时从四个方面阐述人工智能被赋予法律人格的必要性：第一，人工智能已经是一种“真实”“独立”且“自主”的存在。第二，人工智能具有独立自主的行为能力和责任能力。第三，有效管控人工智能风险的必要手段是确定人工智能法律人格。第四，人类出于自我权利保障目的，人工智能应当被赋予法律人格。之后，从人与人工智能天然不平等关系、人工智能的“应用”路径和人工智能承担有限的法律责任后果三部分论证拟制法律人格是人工智能法律人格的定性与定位。最后，提出了对人工智能法律地位的立法建议，包括：法律拟制法律人格；参考法人设立建立登记备案制；承认人工智能的有限责任。

（三）

折中说

折中说认为需要区分人工智能的强弱程度，弱人工智能与法律客体相适应，强人工智能则赋予法律主体资格。

学者彭诚信，陈吉栋持该种观点。学者们首先肯定人工智能的法律人格，并对有关学说进行了介绍。之后阐述了人工智能法律人格的应然考量因素，包括实质性要件和形式性要件两部分，所谓实质性要件也就是意志能力和物质性要件，所谓形式性要件也就是符合法律的认可原则。最后，对人工智能法律人格在现行法以及以发展的眼光对待的未来立法两方面进行具体阐述——我国现行法中，学者们认为应将部分弱人工智能认定为权利客体，再对部分符合一定条件的强人工智能肯定其法律主体地位；对于未来立法，需要确定人工智能的法律主体要件以及制定“人工智能发展法”。

二

学者观点分析

通过以上分析可以发现，学者们对待人工智能法律地位的态度，不论是持客体说的观点还是持主体说的观点，大多从三个方面对人工智能的法律地位进行阐述。第一，人工智能是否具有独立性和自主性。第二，人工智能是否具有自主独立的行为能力和责任能力。第三，人工智能法律地位的确定——主体资格或者客体资格——是对人工智能风险进行控制的必要手段。

以上述几位学者的观点为例，持客体说的学者的看法是，首先，独立性和自主性是人工智能所不具备的，其认知能力具有有限性，不可能成为具有自我意识，深谙自身目的的理性主体。人工智能通过算法认识事物，而算法本身由人类设定或者人类推动其生成，其对世界的认知很大程度上局限于此，不具备独立性。尽管人工智能有超强的学习能力，但这能力也受制于算法，人工智能依据算法行事，围绕算法进行活动，用以达到人类对其预设的目的。其次，人工智能不具有独立自主的行为能力和责任能力。如上所说，人工智能不具备独立性和自主性。同时，人工智能主体地位并不能解决人工智能创造出的物的归属，也不能解决人工智能损害赔偿责任的承担。有观点认为，人工智能行为是其主体的法律行为要件，而其主体包括人工智能的研发者、制造者以及使用者等。换句话说，人工智能是其主体借助的工具，是其主体行为的延伸。而将人工智能的损害赔偿责任分配给人工智能的法律人格，为相关责任人规避责任提供了机会，可能会造成投机行为等不良后果。更为有意思的是，人工智能并没有独立的财产，其怎么能承担法律责任？最后，确定人工智能的法律客体地位是有效管控人工智能风险的必要手段。当所处地位不平等时，就会产生剥削和压迫，就像人类刚刚进入资本时代时，工厂主和雇佣工人地位不平等，双方无法实现平等的意思自治，而超人工智能与人类并不处于一个级别。也就是说，人工智能的智力越强，其所蕴含的风险越大，如果不加以控制，其所产生的后果不是我们所能承受的。

与客体说相对立，持主体说的学者认为人工智能的独立性和自主性是其首要特征。人工智能最初即使是受人类的算法控制，其在运行过程中也产生了自主性和独立性。“自主是一种不受外部控制、能够自我决定并付诸行动的独立状态”。随着科技的不断进步，人工智能在分析问题与解决问题的过程中，其本身技能的进步，学习能力的增强，涉足的范围的扩展，面临问题的复杂，其解决问题的方式更加不可控制，甚至超越其本身的设计者的想象。其次，人工智能具有独立自主的行为能力和责任能力。如上所说，人工智能具备独立性和自主性，其在自主运行过程中的自我思考和自主学习，具有一定的主观能力，充分体现了其行为能力。而对于其承担责任的责任能力，有为人工智能强制投保责任险和设立人工智能储备基金两种路径选择，降低人工智能生产和使用过程中相关责任承担的风险，提高其对人工智能研究的积极性以及人工智能独立承担风险的能力。最后，人工智能风险需要由赋予人工智能法律人格，予以有效控制。新鲜事物的出现必然会对原有的社会生活和社会秩序造成冲击，而人工智能的出现将人类从很多生产生活领域的劳动中解放出来，极大地改变了人们的生活，这必然会引起对传统社会伦理道德和社会秩序的冲击。所以，需要将人工智能纳入统一的技术和伦理规范体系之中进行规制，并建立相应的法律制度机制来降低人工智能可能带来的风险和危害，而这一切的前提是赋予人工智能法律人格。

围绕着对人工智能法律地位的考量，不同观点的学者看待问题的角度不同。其一，针对人工智能的独立性和自主性，客体说的观点倾向于人工智能的工具性更加明显，即使看起来是具有独立性和自主性，但归根究底仍是人类创造的产物。而主观说的观点则倾向于人工智能即使是人类创造的产物，但其由于自主运行和自主学习，已经产生不容否认的独立性和自主性。其二，针对人工智能具有独立自主的行为能力和责任能力，不可否认的是，第一个问题的解释直接关联第二个问题的答案。客体说的观点从假设如果赋予人工智能法律主体地位出发，分析得出其并不能解决现存的关于人工智能的相关法律问题的角度，对该问题予以否认。而主观说则为人工智能能承担责任而提出了多种解决方式，从结果成立反推前提成立。其三，对于人工智能风险控制的不同观点，充分体现了客体说和主观说价值观的核心，人工智能的发展是一把双刃剑，如果控制不好，对人类来说，其带来的后果无法预料。从目前的情况来看，大数据时代，人工智能的法律风险存在于个人信息保护、法律伦理、侵权以及刑事犯罪等领域。除了法律风险之外，还存在着道德风险。客体说认为需要对人工智能的发展持高度警惕态度，认为需要对其的法律地位予以客体化确认，对其进行控制，以防人工智能能力的发展过于迅速，以至于超出人类的预期，造成人类反被人工智能控制的糟糕境遇。主观说的支持者则认为主体制度本身是一种价值判断，主体资格承认的多元化，最终都是对人格自由的尊重，人工智能的发展程度我们无法预料，如果我们希望未来人工智能能够善待人类的话，那么人类应该出于“拥有同情与关爱之良善本性”的善待人工智能。从上述分析可以得知，对于人工智能的法律地位的认定，更多的是一种价值判断和倾向选择。

三

人工智能的法律主体地位

人工智能对海量数据的汇总、整合、分析和学习，尤其在我们正处于大数据时代的背景之下，越发促进了人工智能向强人工智能的发展，为其法律主体地位的确定添砖加瓦，量变产生质变。

对现有人工智能法律地位观点的梳理以及几位学者观点的分析，笔者认为应当赋予人工智能法律主体地位。笔者通过对人工智能具有法律主体地位的原因和对相关制度设计两方面，阐述人工智能的法律主体地位的正当性和合理性。

（一）

原因

现行法律缺乏对人工智能法律地位的指向性态度

随着人工智能的不断发展，目前官方政府和相关组织未对人工智能的法律地位予以明确肯定或者否定，这在一定程度上激发了对其地位争议的同时，也使得其发展欠缺法律价值的指引。“人工智能的短期影响取决于谁控制人工智能，而长期影响则取决于人工智能到底能否受到任何控制，人工智能的运用与发展需要法律人格的明确。”而人工智能的法律主体地位必将随着其发展而被肯定，这符合社会历史发展的客观规律。以法人为例，团体的形成远早于法人制度被法律拟制为法律主体地位，而其之所以没有在刚出现的时候即被承认主体地位，是因为其发展还不够成熟，人类需要通过时间来适应其产生、发展及演变过程中对传统经济、法律制度和社会伦理的冲突，通过恰如其分的方式明确其法律地位以及在实践中不断完善相应的具体制度。不能否认，人工智能的发展过程会与法人制度的形成在一些方面有相似性，但是，如果承认人工智能的法律主体地位，也即在现行法律上承认了非人类的主体地位。这与法人制度有所不同，法人之所以定义中称之为“人”，还是于法人由自然人组成，其决策还是由自然人做出相关。

现行法律法规对人工智能法律地位未加以确定

法律客体说和法律主体说对人工智能的法律地位各执一词，尤其突出的是，如果人工智能确定为法律客体地位，其做出的出于自我判断的行为后果是否能单纯的归属于产品责任归责原则；而如果人工智能确定为法律主体地位，其的规制能否与现行法律体系逻辑和传统伦理社会相适应。新事物的产生、发展和完善必将对传统的制度和价值产生冲击，二者可能的相悖只是一时的，在新事物的发展势不可挡的前提下，因为不相匹配产生的法律问题总是要由法律解决，出于解决的需要，法律体系逻辑和社会伦理将逐渐与之相适应。

欠缺人工智能的发展匹配的具体规则

智能法律地位学说的研究中，每个具体学说的局限性都不能逃脱缺乏具体规则限定的樊笼。不同学说下，对人工智能的损害赔偿问题等没有确切的规定，即使是在支持赋予人工智能法律主体地位的学说下，对其具体规则的规制，比如说其是否具有独立财产，怎样具有独立财产也有所欠缺。如果力图使理论与实际相匹配，就需要通过具体的规则解决学说的概括性和抽象性问题，既与人工智能的发展匹配，又与社会生活的发展相匹配。

人工智能的法律主体地位通过现实实践予以肯定

近年来日本的宠物机器人获得户籍；美国承认自动驾驶汽车中的自动驾驶系统的“驾驶员”地位；沙特政府授予“女性”机器人公民身份。种种国家的举措和法律文件的现状表示，虽然目前各国未承认人工智能的法律主体地位，但一些国家已经承认人工智能的主体地位，笔者相信，承认人工智能主体地位的范围还会继续扩大。

以上，笔者从法律和实践的不同角度，通过现行法律缺乏对人工智能的法律地位的指向性态度、对人工智能的法律地位未加以确定、欠缺与人工智能发展相匹配的具体规则以及现实中人工智能的法律主体地位的确定四方面说明要赋予人工智能法律主体地位的原因。

（二）

制度设计

人工智能财产要件的实现路径

人工智能是否能够承担责任，与其是否独立拥有财产密切相关，而人工智能无法独立拥有财产也是法律客体说否认其主体地位的重要理由。人工智能独立拥有财产，目前有两种方式：第一，是保险制度。通过为人工智能投保强制责任保险，使得每个人工智能都具有保险，当人工智能需要承担责任时，以保险金额进行支付，其他人工智能的生产者、设计者、使用者等不用承担应负责任之外的责任。第二，是储备基金。该基金的适用对象是不太可能造成重大生命和财产损失的人工智能，意外发生事故时，用人工智能储备基金作为获得赔偿的某种方式。

需要注意的是人工智能独立承担责任与其生产者、设计者、使用者因其算法或者使用等原因造成的责任不相冲突，因为人工智能的独立运算和决策所造成的超过其生产者、设计者、使用者预期造成的责任由人工智能独立承担；而因人工智能生产者、设计者、使用者因其算法或者使用等原因造成的责任则由相应的责任人承担。

法律风险防范机制

人工智能主要分为弱人工智能和强人工智能两类，而弱人工智能由于不具备自主性，与法律客体说相符，通过现有法律可以区分具体情形，解决其造成损害的责任分配问题。而强人工智能则具有不断加强的自主学习能力和逻辑运算能力，推动人工智能向着类人的方向发展，法律风险防范机制主要针对强人工智能，当然也不能说弱人工智能完全不需要防范风险。

人工智能法律风险主要涉及个人信息保护、法律伦理、侵权三个方面，下文主要从这几个方面分析防范机制。

首先，人工智能的发展与大数据密不可分，而针对个人生活习惯和生活信息的精准化、个性化服务则是人工智能的发展方向之一，这本身就存在着极大的安全隐患。这需要从个人信息范围的界定，保障获取个人信息的有效性，坚持数据统计结果与所有权相分离的原则对个人信息进行保护。

其次，数据的规模性和量化促进人工智能的学习能力和其本身的发展，而数据本身的质量并不能保证人工智能的学习不会接触到不良信息。另外人工智能本身深度学习能力如何，以及其怎样学习，怎样决策，都不再受人类控制。这就需要优化数据算法，过滤不良信息，同时提升人工智能的危险鉴别能力；需要成立伦理审查委员会，对人工智能研发人员的伦理问题进行实质审查并对人工智能产品进行伦理审查。

最后，人工智能作为被人类适用的产品本身就存在安全隐患，更不用说时有发生的人工智能毁损财物、致人损伤的事件。区分人工智能的强弱程度，在弱人工智能侵权的情况下，使得《侵权责任法》《产品质量法》等法律的规定做出与弱人工智能相适应的解释，生产者、销售者和使用者分别承担不同的责任。而在强人工智能侵权的情况下，则需要采取一定的制度设计确定强人工智能的独立财产或与之相匹配的相关制度，以降低强人工智能设计者、生产者或者使用者的责任，有效地防范风险。

制定《人工智能发展法》

随着人工智能的迅速发展，与国家发展战略的需要相匹配的需要，需要加快人工智能相关法律规定的修订和完善，从法律层面对相关行为的性质进行界定，尤其是《人工智能发展法》。与人工智能发展的现状以及未来可能发展的预期相结合，对人工智能的相关法律制度进行纲领性与具体化并存的制定，尤其针对人工智能的法律地位以及相应的配套措施，以及对人工智能进行监管的体系和流程。将人工智能的发展与社会伦理和社会价值相匹配，强化对人工智能的保护和监管，即使赋予其法律主体地位，也要防止其权利被滥用。

以上，笔者通过人工智能财产要件的实现路径、法律风险防范机制和制定《人工智能发展法》三部分来简要提及对人工智能法律主体地位的相关制度设计，确保其法律主体地位能发挥应有的作用。

四

结论

人工智能的发展是社会进步、经济发展的必然结果，而人工智能的发展又需要相关法律制度与其相匹配。人工智能的法律主体地位是人工智能不断向前发展的必然结果，笔者通过对人工智能的法律地位的学说和观点进行整合分析，从人工智能的法律主体地位原因和制度设计两方面阐明人工智能的法律主体地位的合理性和正当性。因现行法律缺乏对人工智能的法律地位的指向性态度、对人工智能的法律地位未加以确定、欠缺与人工智能发展相匹配的具体规则和现实中人工智能的法律主体地位的确定四方面原因需要确立人工智能的法律主体地位。另外，为保证人工智能的法律主体地位，从人工智能财产要件的实现路径、法律风险防范机制和制定《人工智能发展法》三部分来完善人工智能的法律主体地位。总之，笔者认为应承认人工智能的法律主体地位。

上海市法学会欢迎您的投稿

fxhgzh@vip.163.com

人工智能的伦理问题与治理原则

第一类问题来自我们对人工智能系统对其决策结果的伦理意义缺乏判断的忧虑。人工智能往往被用来解决一个具体问题，而且只能通过已有的有限数据来作出决策，往往无法像人一样理解更广的社会和伦理语境。故此，我们对人工智能缺乏对决策后果的伦理意义的认知有恐惧，这是完全可以理解的。当人工智能决策的后果涉及一个结果和另外一个结果之间的比较时，往往造成难以预料的后果。例如，人可能给人工智能系统一个获取食物的指令，结果这个系统却杀死了人的宠物。这是因为人工智能对某个结果的伦理意义无法完全理解，以致于错误地执行了指令。我们对人工智能对决策结果的伦理判断能力不足的忧虑，在人工智能技术本身缺乏透明度（黑箱问题）时就更加严重了。人工智能采纳的机器学习往往因为算法（例如机器学习）和算力限制的原因，无法回溯机器作出决定的具体机制。无法回溯会带来我们在事先预测后果和事后作出纠正的能力的局限，导致我们在决定是否应用人工智能技术的问题上踌躇不决。

第二类问题来自我们对人工智能的潜力的忧虑。人工智能可能成为人类全部决定的参与和影响者，但我们尚且不知道没有任何已知的伦理准则能指引上述行为。人类创造的“上帝”无力护理这个世界，这让我们恐惧震惊。我们担心随着人工智能的发展，它会导致已有的社会问题进一步恶化，同时可能带来新的社会问题。

从上述前提出发，笔者从目的、手段两个层面提出思考人工智能伦理（嵌入机器的伦理）的两个基本方向：技术必须促进人类的善（体现在人的根本利益原则）；在越来越发达的机器的自主性背景下确认人的主体性（体现在责任原则）。换言之，认识到新的技术本身的特征和它的潜在社会影响，我们看到人工智能伦理要强调：（1）人可以利用人工智能得到更大的能力（行善/伤害），因此有更大的责任，所以应当更加强调归责性；（2）人工智能则必须服从人类设定的伦理规则。这也是《人工智能标准化白皮书（2018）》中提出了人工智能设计和应用中应遵循的两个基本原则的基本依据。违反人的根本利益原则的人工智能，无论是用来欺诈顾客的营销算法、用于司法造成歧视部分公民的司法决策系统，还是对个人信息的过度收集和滥用，都违反人工智能伦理原则。

根据人工智能伦理风险的具体性质与特征，可从算法、数据和应用三个方面度来梳理人工智能的风险。对伦理风险的治理，需要立法和政策明确各相关主体的责任，包括信息提供者、信息处理者和系统协调者。此外，人工智能还可能对社会产生远期发展的风险，如对既有的就业、市场竞争秩序、产权等法律制度的挑战，甚至生产方式的根本变革，这些我们将其归入长期和间接的伦理风险之中。

算法方面

算法方面的风险主要包括算法安全问题、算法可解释性问题、算法歧视问题和算法决策困境问题。算法安全问题产生于算法漏洞被黑客攻击和恶意利用的挑战，同时算法从设计、训练到使用中面临可信赖性问题和算法随时可用对可靠性带来挑战。

算法可解释性涉及人类的知情利益和主体地位，对人工智能的长远发展意义重大。国务院颁布《新一代人工智能发展规划》，同时，潘云鹤院士提到人工智能应用的一个需要关注的问题是算法的不可解释性。算法可解释性问题在国外也引起媒体和公众的关注。例如，电气和电子工程师协会（IEEE）在2016年和2017年连续推出的《人工智能设计的伦理准则》白皮书，在多个部分都提出了对人工智能和自动化系统应有解释能力的要求。美国计算机协会美国公共政策委员会在2017年年初发布了《算法透明性和可问责性声明》，提出了七项基本原则，其中一项即为“解释”，希望鼓励使用算法决策的系统和机构，对算法的过程和特定的决策提供解释。2017年，美国加州大学伯克利分校发布了《对人工智能系统挑战的伯克利观点》，从人工智能的发展趋势出发，总结了九项挑战和研究方向。其中之一，即第三项，就是要发展可解释的决策，使人们可以识别人工智能算法输入的哪些特性引起了某个特定的输出结果。

与可解释性问题常常同时出现的是算法歧视问题，即在看似中立的算法中，由于算法的设计者的认知存在某种偏见，或者训练算法使用了有问题的数据集等原因，带来了人工智能系统决策出现带有歧视性的结果。这类例子媒体时有报道，例如在金融领域“降低弱势群体的信贷得分”、“拒绝向‘有色人种’贷款”、“广告商更倾向于将高息贷款信息向低收入群体展示”等。

算法歧视主要分为“人为造成的歧视”“数据驱动的歧视”与“机器自我学习造成的歧视”三类。人为造成的歧视，是指由于人为原因而使算法将歧视或偏见引入决策过程中。数据驱动造成的歧视，是指由于原始训练数据存在偏见性，而导致算法执行时将歧视带入决策过程中。算法本身不会质疑其所接收到的数据，只是单纯地寻找、挖掘数据背后隐含的模式或者结构。如果数据一开始就存在某种选择上的偏见或喜好，那么算法会获得类似于人类偏见的输出结果。机器自我学习造成的歧视，是指机器在学习的过程中会自我学习到数据的多维不同特征，即便不是人为地赋予数据集某些特征，或者程序员或科学家刻意避免输入一些敏感的数据，但是机器在自我学习的过程中，仍然会学习到输入数据的其它特征，从而将某些偏见引入到决策过程中，这就是机器自我学习造成的歧视。

算法决策困境源于人工智能自学习能力导致的算法结果的不可预见性。为此要减少或杜绝算法决策困境，除了提高算法的可解释性，还可以引入相应的算法终结机制。

数据方面

数据方面的风险主要包括侵犯隐私的风险和个人敏感信息识别与保护的风险。在现代社会，隐私保护是信任和个人自由的根本，同时也是人工智能时代维持文明与尊严的基本方式。人工智能时代下侵犯隐私的风险更大，受害者也更多。

传统法律规范对隐私的保护集中于对个人在私人领域、私人空间活动的保护，以及个人私密的、非公开的信息保护。在个人信息的基础之上，法律规范区分普通个人信息和个人敏感信息。法律通常对个人敏感信息予以更高的保护，例如对个人敏感信息的处理需要基于个人信息主体的明示同意，或重大合法利益或公共利益的需要等，严格限制对个人敏感信息的自动化处理，并要求对其进行加密存储或采取更为严格的访问控制等安全保护措施。个人敏感信息在授权同意范围外扩散，或者个人信息的扩散超出收集、使用个人信息的组织和机构控制范围，以及使用者超出授权使用（如变更处理目的、扩大处理范围等），都可能对个人信息主体权益带来重大风险。

人工智能技术的应用极大地扩展了个人信息收集的场景、范围和数量。图像识别、语音识别、语义理解等人工智能技术实现海量非结构化数据的采集，而人工智能与物联网设备的结合丰富了线下数据采集的场景。例如,家用机器人、智能冰箱、智能音箱等各种智能家居设备走进人们的客厅、卧室，实时地收集人们的生活习惯、消费偏好、语音交互、视频影像等信息；各类智能助手在为用户提供更加便捷服务的同时，也在全方位地获取和分析用户的浏览、搜索、位置、行程、邮件、语音交互等信息；支持面部识别的监控摄像头，可以在公共场合且个人毫不知情的情况下，识别个人身份并实现对个人的持续跟踪。这些都需要法律进一步地规范。

社会方面

与社会相关的伦理问题主要包括算法滥用和误用。算法滥用和误用是指人们利用算法进行分析、决策、协调、组织等一系列活动中，其使用目的、使用方式、使用范围等出现偏差并引发不良影响或不利后果的情况。例如，人脸识别算法能够提高治安水平、加快发现犯罪嫌疑人的速度等，但是如果把人脸识别算法应用于发现潜在犯罪人或者根据脸型判别某人是否存在犯罪潜质，就属于典型的算法滥用。由于人工智能系统的自动化属性，算法滥用将放大算法所产生的错误效果，并不断强化成为一个系统的重要特征。

算法滥用主要由算法设计者出于经济利益或者其他动机的操纵行为、平台和使用者过度依赖算法、将算法的应用盲目拓展到算法设计未曾考虑的领域等。电商平台算法设计者推荐不符合用户利益的产品，或者娱乐平台为了自身的商业利益对用户的娱乐或信息消费行为进行诱导、导致用户沉迷等，都是算法设计者操纵行为的展现。在医疗领域过度依赖人工智能平台的读图诊断，导致误诊，以及在安防领域和犯罪误判导致的问题，都直接关系到公民的人身安全与自由。

应当注意的是，与社会相关的伦理问题有如下特性：其一，它们与个人切身利益密切相关，如算法应用在犯罪评估、信用贷款、雇佣评估等关切人身利益的场合，对个人切身利益的影响广泛。其二，它们带来的问题通常难以短时间应对，例如深度学习是一个典型的“黑箱”算法，如果深度学习为基础建立的模型存在歧视，应对时难以查清原因。其三，在商业应用中出现这类问题时，由于资本的逐利性，公众权益容易受到侵害。

人工智能治理原则与实践

人工智能技术的特质及其伦理挑战，给社会的治理带来了问题。传统上，治理所预设能够遵循规则的主体（Agent），也就是人本身。今天我们认识到人工智能的特征在于其高度的自主性，即其决策不再需要操控者进一步的指令，考虑到这种决策可能会产生人类预料不到的结果，人工智能技术的设计者和应用者必须在人工智能技术研发、应用的各个环节贯彻伦理原则，以实现对人工智能的有效治理。

在传统技术领域，常见的防止损害的方式是在造成伤害之后进行干预。但是，等待人工智能系统造成伤害之时才考虑干预，很多时候为时已晚。一个更好的方法是将即时和持续的伦理风险评估和合规体系建设作为系统运行的一个组成部分，即时和持续评估人工智能系统是否存在伦理风险、并在损害产生之前以及损害不大的时候就通过合规体系进行处理。即时和持续的风险评估对于人工智能系统的保障要比按下“紧急按钮”要有效得多。

故此，我们在讨论人工智能治理应遵循的思路和逻辑时，必须警醒行业自律的有限性和立法的滞后性。如阿西莫夫等科技伦理的思想者所意识到的，必须将伦理在技术层面就进行明确，才能保证治理的有效性。构建人工智能的伦理标准是治理不可或缺的一面。此外，根据法律和政策本身的特征来制定法律、完善政策、设立管制机构，也是治理必须执行的方法。

国内外人工智能治理方面的探索值得我们关注和借鉴。例如，欧盟通过对机器人规制体现了依据人工智能伦理来设计治理体系的前沿探索。美国于2016年出台的战略文件就提出要理解并解决人工智能的伦理、法律和社会影响。英国政府曾在其发布的多份人工智能报告中提出应对人工智能的法律、伦理和社会影响，最为典型的是英国议会于2018年4月发出的长达180页的报告《英国人工智能发展的计划、能力与志向》。

联合国于2017年9月发布《机器人伦理报告》，建议制定国家和国际层面的伦理准则。电气和电子工程师协会（InstituteofElectricalandElectronicsEngineers，IEEE）于2016年启动“关于自主/智能系统伦理的全球倡议”，并开始组织人工智能设计的伦理准则。在未来生命研究所（futureoflifeinstitute，FLI）主持下，近4000名各界专家签署支持23条人工智能基本原则。

我国也在这个方面开展了探索与实践。2017年发布的《新一代人工智能发展规划》提出了中国的人工智能战略，制定促进人工智能发展的法律法规和伦理规范作为重要的保证措施被提了出来。2018年1月18日，在国家人工智能标准化总体组、专家咨询组的成立大会上发布了《人工智能标准化白皮书（2018）》。白皮书论述了人工智能的安全、伦理和隐私问题，认为设定人工智能技术的伦理要求，要依托于社会和公众对人工智能伦理的深入思考和广泛共识，并遵循一些共识原则。

人工智能技术的开发和应用深刻地改变着人类的生活，不可避免地会冲击现有的伦理与社会秩序，引发一系列问题。这些问题可能表现为直观的短期风险，如算法漏洞存在安全隐患、算法偏见导致歧视性政策的制定等，也可能相对间接和长期，如对产权、竞争、就业甚至社会结构的影响。尽管短期风险更具体可感，但长期风险所带来的社会影响更为广泛而深远，同样应予重视。

人工智能技术的日新月异与治理体系相对稳定性之间不可避免地存在矛盾，这需要我们明确应对人工智能的基本原则。在国际范围内比较，人工智能伦理基本原则以2017年1月在阿西洛马召开的“有益的人工智能”（BeneficialAI）会议提出的“阿西洛马人工智能原则”（AsilomarAIPrinciples），以及电气和电子工程师协会（IEEE）组织开展的人工智能伦理标准的工作受到了最多的关注。此前，各国也提出了机器人原则与伦理标准。作者认为，我国人工智能的研究和应用应遵循两个人工智能伦理基本原则，即人的根本利益原则和责任原则。

人的根本利益原则

人的根本利益原则，即人工智能应以实现人的根本利益为终极目标。这一原则体现对人权的尊重、对人类和自然环境利益最大化以及降低技术风险和对社会的负面影响。人的根本利益原则要求：

（1）在对社会的影响方面，人工智能的研发与应用以促进人类向善为目的（AIforgood），这也包括和平利用人工智能及相关技术，避免致命性人工智能武器的军备竞赛。

（2）在人工智能算法方面，人工智能的研发与应用应符合人的尊严，保障人的基本权利与自由；确保算法决策的透明性，确保算法设定避免歧视；推动人工智能的效益在世界范围内公平分配，缩小数字鸿沟。

（3）在数据使用方面，人工智能的研发与应用要关注隐私保护，加强个人数据的控制，防止数据滥用。

责任原则

责任原则，即在人工智能相关的技术开发和应用两方面都建立明确的责任体系，以便在人工智能应用结果导致人类伦理或法律的冲突问题时，人们能够从技术层面对人工智能技术开发人员或设计部门问责，并在人工智能应用层面建立合理的责任体系。在责任原则下，在人工智能技术开发方面应遵循透明度原则；在人工智能技术应用方面则应当遵循权责一致原则。

透明度原则

透明度原则要求人工智能的设计中，保证人类了解自主决策系统的工作原理，从而预测其输出结果，即人类应当知道人工智能如何以及为何做出特定决定。透明度原则的实现有赖于人工智能算法的可解释性（explicability）、可验证性（verifiability）和可预测性（predictability）。

权责一致原则

权责一致原则，是指在人工智能的设计和应用中应当保证问责的实现，这包括：在人工智能的设计和使用中留存相关的算法、数据和决策的准确记录，以便在产生损害结果时能够进行审查并查明责任归属。权责一致原则的实现需要建立人工智能算法的公共审查制度。公共审查能提高相关政府、科研和商业机构采纳的人工智能算法被纠错的可能性。合理的公共审查能够保证一方面必要的商业数据应被合理记录、相应算法应受到监督、商业应用应受到合理审查，另一方面商业主体仍可利用合理的知识产权或者商业秘密来保护本企业的利益。

应当明确，我们所说的人工智能伦理原则，不仅应当由人工智能系统的研发和应用的人类主体遵守（包括在研究机构、行业领域的科技企业和科技工作者），而且这些原则应当嵌入人工智能系统本身。机器如何遵循伦理规则这一点，有人仍有质疑。典型的看法是，伦理规则只是给人的，没有可能给人工智能系统（包括机器人）设定伦理规则。的确，传统上伦理原则所针对的是能够遵循这些原则的主体（Agent）也就是人本身。但是，考虑到人工智能的特征在于机器对人的智能的“模拟、延伸和扩展”，即其决策不需要操控者一步步的指令，同时这种决策可能会产生人类预料不到的结果，人工智能系统也应当受到伦理规则的规制。

结论

社会必须信任人工智能技术能够给人带来的利益大于伤害，才有可能支持继续发展人工智能。而这种信任，需要我们认识和探讨人工智能领域的伦理和治理问题，并且在发展人工智能技术发展的早期就有意识地加以运用。今天学者、科技工作者和社会已经有基本共识，就是负责人工智能系统的研发和应用的人类主体，包括在研究机构、行业领域的科技企业和科技工作者，应当服从一些基本的伦理原则。本文提出的两个基本伦理原则，是国内在这方面思考的总结和升华。除了人工智能的基本伦理原则，前人给我们的另一个启发是人工智能伦理应该嵌入系统本身。当我们越来越依赖于机器人代替我们作出决策时，我们应当在这个决策过程中嵌入伦理思考，而不是等待决策结果已经给我们带来负面影响之后再去纠正。

本文希望用一种更清醒的眼光去看待人工智能伦理和治理问题。学者和公众需要一起探讨：我们有没有可能防止人工智能给个人和社会带来的损害？只有在这个问题得到更深入的思考和妥善解决的时候，人工智能的发展才有真正的基础。

转自丨法理杂志返回搜狐，查看更多

欧盟推出新的人工智能法规

欧盟委员会(EuropeanCommission)于2021年4月21日提出了人工智能(AI)法规，旨在将欧洲变打造值得信赖的人工智能(AI)的全球中心。欧盟有史以来第一个人工智能的法律框架与欧盟成员国的协调计划相结合，将保证人们和企业的安全和基本权利，同时加强欧盟对人工智能的吸收、投资和创新。新法规将调整安全规范，以增加使用者对新一代多功能产品的信任。

新的人工智能法规将确保欧洲人民可以信任人工智能产品。相称和灵活的规则旨在解决人工智能系统带来的具体风险，并在全球范围内设定最高标准。协调计划(TheCoordinatedPlan)概述了欧盟成员国必要的政策改变和投资，以加强欧洲在发展以人为本、永续、安全、包容和值得信赖的人工智能方面的领先地位。

新的法规基于人工智能发展趋势，依据风险高低分类，将适用于所有欧盟成员国。

不可接受的风险(Unacceptablerisk)：被认为对人们的安全、生计和权利有明显威胁的人工智能系统将被禁止。这包括操纵人类行为以规避用户自由意志的人工智能系统或应用(例如，使用语音辅助的玩具，鼓励未成年人的危险行为)和允许政府进行「社会评分(socialscoring)」的系统。

高风险(High-risk)：被认定为高风险的人工智能系统涉及到以下用途：

重要基础设施(如交通)，可能使人民的生命和健康受到威胁;教育或职业培训，可能决定某人的受教育机会(如考试评分);产品的安全零件(如AI在机器人辅助手术中的应用);就业、员工管理和自雇管道(如征才使用的履历分类软件);基本的私人和公共服务(如信用评分剥夺了公民取得贷款的机会);可能干涉人们基本权利的执法(如评断证据可靠性的系统);移民、庇护和边境控制管理(如核实旅行文件真实性的系统);利用AI于司法和民主程序。

高风险的人工智能系统上市前，将受到严格的管控约束：

充分的风险评估和缓解系统;为系统提供高质量的数据集，以尽量减少风险和歧视性的结果;对活动进行记录，以确保可追溯结果;提供关于系统及其目的的所有必要信息，以便监管单位评估其合规性;向用户提供充分且清晰的信息;适当的人力监督措施，以最大限度地减少风险;高度的稳健性、安全性和准确性。

特别是：

所有远程生物辨识(remotebiometricidentification)系统都被视为高风险的人工智能系统。原则上禁止在公共场所为执法目的使用，狭义的例外情况有严格的定义和规定(例如，在寻找失踪儿童、防止具体和紧迫的恐怖主义威胁或侦查、定位、识别或起诉严重刑事犯罪的肇事者或嫌疑人的需要)。使用上必须取得司法或其他独立机构的授权，并在时间、地理范围和搜索的数据库方面有适当的限制。

有限的风险(Limitedrisk)：即具有透明公开义务的人工智能系统。在使用人工智能系统(如聊天机器人)时，使用者应该能意识到正在与机器互动，进而做出明智的决定。

最小的风险(Minimalrisk)：法规允许自由使用人工智能的电子游戏或垃圾邮件过滤器等应用，绝大多数的人工智能系统都属于这个类别，对此不作干预，因为这些系统对公民的权利或安全只构成最小或没有风险。

在监管方面，欧盟委员会建议各国市场监督主管部门配合新的法规，并将设立欧洲人工智能委员会(EuropeanArtificialIntelligenceBoard)促进其实施，推动人工智能标准的发展。此外，还提议为非高风险的人工智能系统制定自发性的行为准则，建立监管沙盒(regulatorysandbox)以促进创新。

《欧盟AI协调计划〈CoordinatedPlanonAI〉》

《欧盟AI协调计划》首次发布于2018年，确定发展人工智能的行动和工具，使国家策略和欧盟公私合作关系和研究与创新网络形成了充满活力的局面。协调计划的全面更新提出了具体的合作行动，并确保与欧洲人工智能策略(EuropeanStrategyonAI)和欧洲绿色新约(EuropeanGreenDeal)步调一致，同时考虑到COVID-19带来的新挑战。协调计划提出了一个加快人工智能投资的愿景，推动疫后复苏，刺激各国人工智能发展策略，消除碎片化，应对全球挑战。

协调计划将透过数字欧洲(DigitalEurope)和展望欧洲(HorizonEurope)计划，以及欧盟复苏基金20%数字支出目标和欧盟凝聚政策(CohesionPolicy)分配的资金来进行：

通过交流政策见解、数据共享和对关键计算能力的投资，为人工智能的发展创造有利环境;透过公私协力伙伴关系(PPP)，建立研究、开发和创新能力，并向中小企业和公共管理部门提供测试和实验设施以及数字创新中心，促进人工智能的商业化。支持数字领域的培训计划、博士生网络和博士后奖学金来培养人才和技能，在全球范围内促进欧洲人工智能愿景，确保人工智能为人们服务，成为社会的一股力量;在高影响力的部门和技术中建立策略领导地位，包括人工智能对永续环境的贡献、扩大跨境信息交流来推动智能医疗系统，以及人工智能在公共部门、交通、农业，以及机器人技术的应用。《机械条例〈MachineryRegulation〉》：涵盖了广泛的消费者和专业产品，从机器人到割草机、3D打印机、建筑机械、工业生产线。确保新一代的机械保使用者和消费者的安全，并鼓励创新。虽然人工智能法规将解决人工智能系统的安全风险，但新的机械条例将确保人工智能系统与整个机械的安全整合。企业将只需要执行一个单一的合格评估。

此外，新的机械条例将使现行规定更加明确，透过允许文件的数字格式和调整中小企业的合格评估费用，简化企业的行政负担和成本，同时确保与欧盟产品立法框架的一致性。

欧洲议会(EuropeanParliament)和欧盟成员国将需要在普通立法程序中通过欧盟委员会对于人工智能系统和机械的建议。一旦通过，这些条例将直接适用于整个欧盟。同时，欧盟委员会将继续与成员国合作，推动实施协调计划。

背景：

多年来，欧盟委员会一直在促进和加强整个欧盟在人工智能方面的合作，以提高竞争力并确保基于欧盟价值观的信任。

在2018年发布欧洲人工智能策略(EuropeanStrategyonAI)后，经过广泛的协商讨论，人工智能高阶专家小组(High-LevelExpertGrouponArtificialIntelligence)在2019年制定了可信赖人工智能准则(GuidelinesforTrustworthyAI)，并在2020年制定了可信赖人工智能评估列表(AssessmentListforTrustworthyAI)。同时，2018年12月发布了第一个的人工智能协调计划，作为与成员国的联合承诺。

委员会在2020年发布的人工智能白皮书(WhitePaperonAI)为欧洲的人工智能提出了一个清晰的愿景：一个卓越和信任的生态系统，为AI法规提案奠定基础。关于人工智能白皮书的公众咨询引起了世界各地的广泛参与。白皮书中的关于人工智能、物联网和机器人的安全和责任影响的报告，提到产品安全立法仍不够完整。

欧拟推AI法规业界反弹声浪

对于欧盟提出全新法案管制人工智能(AI)的应用方法，如果立法过关将成为全球第一套管制AI的法规，但企业担心新法增加AI使用成本，限制或打压欧盟科技创新。

欧盟最新法案将AI应用方法依风险高低分类，其中高风险AI应用涵盖重大基础建设、大学入学筛选系统及银行贷款审查系统等。根据新法，这类高风险AI应用将受到欧盟严格监管，违法企业最高面临全球年营收6%的罚款。

除了加强监管之外，新法更将禁止特定AI应用，例如公共运输系统、公共场所、商店使用脸部辨识侦测、警察追查犯人的远程生物辨识系统，或是能够读取潜意识的AI技术。新法规规定，在使用前，必须先向主管机关提出法规遵从报告，详述脸部辨识系统如何取得数据。

对于AI新法被批评过于拢统不明，实际该如何实施仍有待观察。法律界人士认为，法规例外情况实在太多，反而失去AI规范保护及禁止的意义。

欧盟《人工智能法》提案的背景与意义 关于人工智能立法的基本出发点