【深度报告】人工智能对道德伦理问题提出重大挑战
有些人预言，人工智能将掀起一场比因特网更加猛烈的变革。而至于机器带来的迅速变化将对人类产生怎样的影响，几乎所有科技人员都将道德伦理视为关注重点。
对于谷歌研究带头人和机器学习的领军人物皮特·诺维格（PeterNorvig）而言，虽然由数据驱动的人工智能技术近期取得了一系列成功，但关键问题在于，我们必须弄清如何使这些新系统造福整个社会，而不仅是该系统的控制者。“人工智能可高效开展实际任务，如给照片贴标签、理解口头和书面自然语言、甚至帮助确诊等。”他指出，“而我们必须确保所有人都能从中受益。”
最大的问题在于，这些软件往往极为复杂，无法参透人工智能系统采取某一行动的原因。如今的人工智能以机器学习技术为基础，导致我们无法透过表面、看个究竟。因此我们只能姑且信任它们。但我们必须找出新方法，有效监控和审查人工智能参与的系统。
哈佛法学院网络法教授乔纳森·齐特林（JonathanZittrain）认为，随着计算机系统日趋复杂，人们或许将难以对人工智能系统进行密切监视。“随着我们的计算机系统越来越复杂、联系越来越紧密，人类的自主控制权也不断减少，这使我很担心。”他表示，“如果我们‘放手不管，忘到脑后”，不考虑道德伦理问题，计算机系统的演化或许会令我们懊悔不已。”
其他人也表达了同样的忧虑。“我们如何判断这些系统是否安全呢？”美国杜克大学人类与自主实验室主管米西·康明斯（MissyCummings）指出。她曾是美国海军首批战斗机飞行员之一，如今是一名无人机专家。
人工智能需要受到监视，但具体做法尚不清楚。“目前我们还未就监视方法达成统一意见，”康明斯表示，“在缺乏系统测试的行业标准的情况下，这些技术很难得到大规模应用。”
随着人工智能的发展，机器人可以胜任更加复杂的工作。例如，日本的一家商店采用了机器人“导购”。
但当今世界日新月异，监管机构往往落后一步。在刑事司法系统和医疗保健等重要领域，许多公司已经开始探索人工智能在假释和诊断等问题上的决策能力。但如果将决策权交予机器，我们就面临着失控的风险——这些系统真能在每起案例中做出正确的判断吗？
微软研发部门的主要研究员丹娜·博伊德（DanahBoyd）称，我们必须严肃考虑此类系统附含的价值，还要确定最终担责方。“监管机构、公民社会和社会理论学家都强力要求这些技术公平公正、符合道义，但这些理念仍然含糊不清。”
道德问题对就业影响颇深。随着人工智能的发展，机器人可以胜任更加复杂的工作，能够取代越来越多的人类工人。例如，中国富士康集团已经宣布将用机器人取代六万名工厂工人。福特汽车在德国科隆的工厂也启用了机器人，与人类工人并肩工作。
此外，如果不断提升的自动化水平对就业产生了重大冲击，便会影响人类心理健康。“人生的意义来自三个方面：有意义的人际关系，充满激情的兴趣爱好、以及有意义的工作。”美国前总统奥巴马医疗顾问、生物伦理学家伊齐基尔·伊曼努尔（EzekielEmanuel）指出，“有意义的工作是自我认同感的重要组成部分。”他还表示，在工厂倒闭率和员工失业率较高的地区，居民自杀、滥用药物和患抑郁症的概率也较高。
因此，社会需要更多的伦理学家。“公司当然会跟随市场潮流行事，这不是坏事，但我们不能指望他们负伦理责任。”麻省理工学院法律与伦理专家凯特·达尔林（KateDarling）指出，“我们应当将监管措施落实到位。每当有新技术出现，我们都会开展这一讨论，研究应对策略。”
许多工厂中，机器人已经开始与人类并肩工作。有些人认为这会使工人的心理健康受到影响。
达尔林指出，谷歌等许多知名公司已经成立了伦理委员会，监控人工智能技术的研发和部署。但这一做法还应进一步普及。“我们无意阻止创新，但眼下也许我们就该成立这样的机构。”
有关谷歌伦理委员会的成员和工作细节，我们还知之甚少。但去年九月，Facebook、谷歌和亚马逊达成合作，旨在为人工智能为安全和隐私造成的挑战提出解决方案。一家名为OpenAI的组织致力于研发和推广造福全民的开源人工智能系统。“机器学习必须得到广泛研究，并通过公开出版物和开源代码传播，这样我们才能实现福利共享。”谷歌研究员诺维格指出。
为制定行业与伦理标准、充分了解当前面临的风险，需要伦理学家、科技人员和企业领导人共同参与。这一问题涉及如何驾驭人工智能、使人类更加擅长自己最拿手的领域。“我们更应关注如何利用相应技术帮助人类思考和决策、而非将人类取而代之。”齐特林指出。
人工智能的道德代码应该如何编写？
人工智能正在以几何级数的速度在发展，虽然对我们生活产生大规模深远影响的AI技术尚未正式部署，但是提前对AI引发的社会与伦理问题进行探讨是必要的。不幸的是，此前公众对人工智能产生的道德伦理问题并没有太多太广泛的讨论。DavidNewhoff了最近以电车难题为标志的AI伦理问题的相关事件，并分析了不同思路的问题。从目前来看，无论是功利主义还是道德决定论，似乎都解决不了AI的道德代码问题，也许我们需要道德虚无主义？让机器像人一样在千钧一发的情况下做出基于直觉的决定？
随着人工智能从科幻小说变成大众科学，领先的技术学家与科学家正在向自己提出如何编写道德代码的问题。报道最广泛的道德困境是无人车与所谓的。这个假想挑战的内容大致是：一个疯子把五个无辜的人绑在电车轨道上。一辆失控的电车朝他们驶来，并且片刻后就要碾压到他们。幸运的是，你可以拉一个拉杆，让电车开到另一条轨道上。然而问题在于，那个疯子在另一个电车轨道上也绑了一个人。考虑以上状况，你是否应拉杆？
这个问题后来被转移到了无人车领域，问的是一辆车的AI如何做出千钧一发、生死攸关的决定。这个问题不仅是技术或者道德问题，同样也很富有哲理性。因为我们在现代发达社会应对悲剧的方式，或者对潜在悲剧的预期，通常并没有包含该AI挑战所蕴含的这类道德决定论。
许多人是靠信仰来应对悲剧事故。这种信念认为，凡是计划必有神性，即便这个计划无法知晓。那些没有宗教信仰的人对计划则不抱信念，而是与这个事实和解：即混乱和人的不可靠是会制造出可怕后果的。无论是哪种情况，大家对不确定性都有一定程度的安慰感——不是对减少损失痛苦本身感到安慰，而是因为这让我们能够对可怕事件合理化，或者为出门不会活在恐惧之中感到安慰。这种不确定性加上可能性，以及保持着控制手段，让我们可以自信地步入自己的车子开车到处转而不怕被干掉。去掉一个因素，比方说控制手段，可能就可以解释为什么更多人坐飞机要比坐车更焦虑，尽管统计数据表明其实他们应该反过来（汽车事故率比飞机高）。
就这一点而言，当预见不到的事情比如刹车失灵、路面突遇障碍物等发生时——人类司机的瞬时反应无疑更多是偶然性的结果而不是任何类型的理性决策。哪怕是在相对常见的例子里面，司机被教导的也是永远都不要为了避免横闯马路的野生动物受伤害而打急转弯，以免增加被对向来车撞上或者自己撞树的风险。但是那种避免碰撞的直觉是很强烈的，而且一旦突现出现的是阿猫阿狗是还会更加强烈。此处的要点是无论结果如何——不管是松鼠被压扁还是几位乘客死亡，包括司机反应在内的这一系列的事件，都要归咎于一定程度的不确定性，而在这不确定性当中就有许多我们哲学上的应对机制。
但是当人类预先确定特定道德困境的结果，并且把它编码进机器里面，授权机器做出这些决定时会发生什么呢？在上面提到的简单例子里面，松鼠被杀死了而所有的人都活下来了，但如果那瞬间的决定要么导致乘客死亡要么导致横穿马路的母子身亡呢？2016年夏，MIT的研究人员推出了一个名为的网站提出的正是这类问题，在各种假设交通场景下，用户必须做出一系列的双输决定，也就是不管怎么决策都会有人死。任何人都可以进行“测试”，测试完之后网站就会公布你的“分数”以及与其他人所做道德决策的对比情况。
当然，从原则上来说，道德机器测试展现给用户的信息是汽车AI永远也无法知道的——比如其中一些潜在受害者是犯罪分子。但在更有可能的场景下，年龄是某些场景的因素之一，这个条件我觉得会更加可信一些——汽车是有可能知道自己搭载的是一堆七十多岁的夫妇，因此决定杀死他们而不是一个年轻家庭会显得更有道德一点。而那对老夫妇自己可能也会做出这个无私的决定，但在人类操作者在面临比自己思考还要快的紧急情况时，这类算计不会真正发生。
这类道德机器测试的可怕之处在于，它隐含意味着用于让AI做出道德决定的数据集理论上可不仅仅包括数字（比方说机器可以简单地把拯救数多于杀死数设为默认）。年龄也可以成为因素，但是对社会的净值或者相对“价值”呢？AI可以为了拯救一位物理学家或者外科医生或者一个卡戴珊而毁了整整一校车孩子的生命吗？种族或者性别方面呢？这然后又会引发这些预设定决策是大家都知道的还是商业秘密的问题，这两个都会引发巨大且空前的道德困境。
在这一点上，几天前出现的一篇告诉我们说，奔驰的下一代无人车将会被设定为无论任何情况下都拯救乘客。一方面，这属于一个算法派生，这种派生的主题是特权阶级在任何其他生命面前都有一条优先通行车道。但也有说法认为奔驰这样做事未来避免陷进对AI进行道德编程的乌烟瘴气里面。可能如果法律要求所有车辆默认都要接受一个指令，比如拯救乘客，这接近于人类司机的直觉但易犯错的反应，同时仍然允许不确定性扮演角色，从而免除了工程师“扮演上帝”的责任。至少在AI具备自我意识并开始自行做出此类决定前是这样。
毕竟，一旦去掉偶然性和放弃权利，把生死决策交给机器之后，很难不会注意到人为道德决定论的反乌托邦启示。当我们去掉了偶然性、命运、上帝旨意等所提供的这些心理缓冲之后，发生了悲剧事故自然就要求做出解释，因此本能上就要求追责。这当然会引发一些伴生的问题，比如谁不可避免地要玩弄系统，谁会对自己的车辆进行“越狱”，以便推翻有可能对自己不利的代码，确保自己成为事故的幸存者。突然之间，这把抱怨摆弄技术资产“权利”的意志论者推到了理论上“牺牲小我”观点的对立面。
AI道德问题还成为了导致得出无人车的私人产权也许不会持久结论的又一个因素。就理性而言，要想让AI负责所有人的往来穿梭，各个AI系统就必须站在同一水平线上，这样才能汽车去到哪里都讲道德。从这一点来说，奔驰或Tesla的模式只不过是公共系统或者高度管制化系统的垫脚石罢了。但是这样的结果不会是制造商或者投资这一未来的领先数据公司想要的。
这就是我同意奥巴马总统的理由之一。他最近在跟伊藤穰一（JoiIto，MIT媒体实验室主管）联合接受《连线》杂志ScottDadich时表示，公共基金在AI开发中扮演角色是必不可少的。“......我们必须理解的事情之一是，如果我们希望这些突破性技术体现出多元化社区的价值，那么政府基金就必须成为其中一部分。如果政府没有参与提供资金支持，那么伊藤穰一提出的所有这些技术价值问题最终可能都会失去，或者至少没有经过适当的辩证。”
当然，奥巴马所指的AI并不仅限于车辆，他的观点阐述的很好。AI的科幻未来已经到来。但用什么样的价值观来推动决策的问题在公开辩论当中几乎很少被提及。与此同时，企业用“颠覆”的修辞已经赦免了隐私和知识产权侵权方面的许多原罪。或者就像SamKriss在《大西洋》的中的出色概括那样：“硅谷解决的是此前并不存在的问题，硅谷文化对‘颠覆’的执着已经达到了病态的地步。技术产品不再感觉像是提供给公众的东西，而像是强加于人：伟大的愿景家观察大家做某件事情的方式，然后决定以一己之力去改变它。”
今年9月底的时候，美国的技术巨头——IBM、苹果、Amazon、微软、Facebook以及Google的计算机科学家联合了一个新联盟，名字叫做“造福社会与公众的人工智能合作伙伴关系”。该联盟的目标之一是建立AI领域最佳实践的规范标准，其中就包括了类似无人车电车难题这样的伦理问题的处理。但是这些技术研发体现出公共利益是必不可少的，虽然我本人可能比较挑刺奥巴马政府在许多公共领域过于Google化，但是我相信总统本人对如何开发出有道德的AI是有着深刻思考的。从目前的研发和投资力度来看，我们唯有希望未来的领导人仍然能继续推进这类话题的深入了。（来源：36kr）
未来科技学院第二期前沿科技趋势学习班正式报名
第二期前沿科技趋势学习班将在2017年4月中下旬在北京中关村举办。学员将听取和学习人工智能、互联网、脑科学、虚拟现实、机器人、纳米技术，生物基因，3D打印等前沿科技的最新动态和未来发展趋势。同时学院也将直接与来自人工智能，机器人等前沿科技领域的企业家进行学习和交流。
未来科技学院第二期学员可以免费观看第一期全部学习视频，共享未来科技学院的高端科学家、企业家和投资人资源，共同解决企业和投资过程中遇到的科技问题；参与前沿科技未来发展重大课题研究；参加未来科技学院组织的讲座、参观和会议。
为了对讲座专家知识表示尊重和举办方组织学习的支持，本期学习费用为2000元整。
查看详情请点击本文左下角“阅读原文”，或扫描下列二维码报名返回搜狐，查看更多
我国人工智能治理面临的机遇和挑战：基于科技公共治理视角
卢阳旭 何光喜
[摘 要]建立健全人工智能治理体系，是保障人工智能健康发展的必然要求。人工智能治理的核心议题是风险和收益的平衡，以及相关公共决策的知识合法性和参与合法性的协调。本文基于科技公共治理视角，分析了人工智能治理的两个面相，介绍了各国在人工智能治理方面的探索及面临的挑战。在梳理我国人工智能治理实践的基础上，从原则、制度建设和工具开发三个层面提出了改进我国人工智能治理体系建设的建议。
[关键词]人工智能；科技公共治理；风险；挑战
[中图分类号]D63 [文献标识码]A
一、人工智能治理问题的提出
人工智能是引领新一轮科技革命和产业变革的战略性技术，正在对全球经济社会发展产生重大而深远的影响，[1]是当前全球科技治理的焦点议题。形成一套能有效识别、促成社会意愿“最大公约数”的人工智能治理体系，有效支撑相关公共决策的制定和执行，是促进人工智能健康发展的重要保障。
（一）科技公共治理及其核心议题
作为一种特殊类型的公共治理，科技公共治理具备公共治理的一般特征：治理主体多元化、治理机制多样化。[2]同时，科技创新活动及其影响的不确定性高、知识门槛高，又使得科技公共治理有以下两个方面的核心议题。
1．科技收益与科技风险的权衡问题
科学技术的“双刃剑”效应使得人们对于科技发展一直有一种矛盾的态度，一方面担心发展太慢，让经济社会发展失速；另一方面又担心发展太快、失去控制，伤及人类。这一矛盾态度使得人们在对待科技发展特别是新兴技术的应用上，出现了“预防原则”（precautionaryprinciple）和“先占原则”（proactionaryprinciple）的持续争论。[3]“预防原则”主张，人们要更谨慎地对待科技发展蕴含的不确定性，以防其带来不可预料的危害。“先占原则”则认为科技创新自由至关重要，不应过分强调与科技发展相关的不确定性的负面影响，反倒是要在规制科技创新方面更加谨慎，以免失去科技发展带来的机会。简单说，前者更强调“安全的科学”，后者则更加强调“科学的安全”。[4]
2.“知识合法性”和“参与合法性”的张力问题
科技活动有很强的专业性，较之一般公众，科学家具有很强的知识优势，更有可能作出“知识上”的正确决策，科技相关决策应该主要听科学家的——这是很长时间以来，科学与政治、科学家与公众之间的默契。但是，随着科学的体制化和职业化，知识权力与各种经济和社会利益的深度纠缠，科学家的独立性和客观性不再毋庸置疑。同时，科技对社会的深度纠缠使得科技决策所需的科学知识之外的“社会知识”越来越多，而公民权利意识的增强则意味着公众会越来越不愿意只是被动地接受科学家们的决定。[5][6]换句话说，没有多主体参与的科技公共决策可能在知识上是不完备的，在程序上是“不合法的”。[7]
（二）人工智能治理的两个面相：“影响的治理”与“技术的治理”
1.影响的治理：人工智能的伦理、法律和社会影响
影响的治理是人工智能治理的核心面相，基本原则是以人为本，基本问题是风险和收益的权衡。20世纪90年代人类基因组计划设立专门的研究项目，关注与基因技术相关的伦理、法律和社会议题（Ethical,Legal,andSocialIssuesELSI）。这个框架同样适合于对人工智能影响的分析，目前人们对于人工智能影响的讨论基本上也是从这三个相互联系的层面来展开的。
人工智能伦理议题的核心，是人与人工智能系统的关系，表现在两个层面：一是人工智能持续发展给人类地位带来挑战，虽然目前人工智能还处于狭义人工智能阶段，但人们对通用人工智能和超级人工智能的预期加重了这方面的担忧。二是人工智能的误用和滥用给人与人、人与自然之间伦理关系带来挑战，比如隐私、歧视、尊严、安全、公平正义等。人工智能法律议题的核心，是何种法律规制能够帮助人类在人工智能发展过程中实现“趋利避害”。人工智能社会议题的内容相对宽泛，而且随着人工智能对工作和生活渗透广度和深度的增加，还会有各种新的议题出现。当前，人们关注的主要议题，包括就业、收入分配、深度造假、政治选举等等。[8][9]
需要指出的是，虽然人们对人工智能的潜在风险有很多担心，但总体判断还是好处要大于风险，而且人类社会有机会、有办法去争取实现收益最大化、风险最小化。比如，2018年12月欧盟委员会高级专家组发布的《可信赖的人工智能伦理准则（草案）》（DraftEthicsGuidelinesForTrustworthyAI）指出，总体而言人工智能所带来的收益要大于风险。同月，日本内阁府发布的《以人类为中心的人工智能社会原则（草案）》（SocialPrinciplesofHuman-centricAI(Draft)）也认为人工智能技术是其推进“社会5.0（society5.0）”建设的关键，要尽可能有效、安全地利用它并避免其带来的负面影响。
2.技术的治理：人工智能系统的治理
技术的治理是人工治理的从属面相，基本目标是保障技术系统安全、可控。具体要求主要包括：一是强调人工智能系统要可解释、透明、长期安全并符合社会价值观，要提高算法的透明性、完善数据共享标准和规范。二是要在人工智能系统的可靠性检验和安全性确认等方面寻找新的方法，以保证人工智能系统处于不间断的人类监管之中。比如，2016年美国政府发布的《国家人工智能研发战略规划》提出，在初始设计阶段就要从技术、标准、审查层面保证人工智能系统可控、安全、符合社会伦理。
但人工智能技术治理面临两个方面的挑战：一是人工智能内生偏差和不可理解问题。人工智能算法高度依赖于大数据，而在很多场景下，数据质量（比如样本的代表性）是很成问题的；不可理解性既包括开发者无法确切理解人工智能系统自我学习过程和决策结果，也包括算法对于使用者和监管者而言的不可理解性。[10]二是算法透明化的安全顾虑和法律争议。国家和公司层面的激烈竞争，以及算法、数据及其分析方法通常掌握在少数国家、少数公司手中这一客观事实，使得它们很容易从现行法律框架中搬出私人财产、商业机密、国家安全等作为拒绝公开的理由。
二、各国人工智能治理的探索和挑战
（一）各国人工智能治理的探索
1.影响的识别：共识和差异
近年来，随着研究的深入和实践的增多，全球人工智能治理的一般性议题越来越集中，主要包括人类的尊严和自主性、隐私和数据安全、就业和社会不平等、人工智能系统的可信赖性及恶意使用等。与此同时，人工智能向各领域的快速渗透也让人工智能治理的具体性议题持续增多。据不完全统计，仅在各项能从公开渠道获得的人工智能提案中，涉及的议题就已超过50个。[11]随着人工智能对各领域渗透程度的进一步加深，未来还会有更多利益点和风险点被触及和识别。
需要指出的是，各国在议题上的共识并不代表在认知、态度和政策举措方面取得共识。以隐私保护为例，虽然各国都认同应该保护隐私，但在不同的制度和文化背景中，人们对于隐私的理解，以及隐私的重要性排序存在明显差异。比如，有研究者将不同社会和群体对待隐私保护的态度划分为三种类型：“隐私优先”（High-Privacyposition）、“隐私平衡”（Balance-Privacyposition）和“隐私限制”（Limited-Privacyposition）。[12]“隐私优先”论赋予隐私更高的价值排序，认为应该赋予个人更大的“数据控制权”，同时它对于隐私的界定也相对比较宽泛。与之相反，“隐私限制”论则认为，虽然应该保护隐私，但当它与其他社会价值（比如公共安全、言论自由等）不一致的时候，应该让位于后者。“隐私平衡”论介于二者之间，在强调隐私保护的同时，也认为不应该对隐私有过于宽泛的定义和过强的保护，在隐私保护方面则强调发挥个人自主、机构和行业自律的作用。事实上，上述分歧明显地体现在美国和欧盟个人数据和隐私保护的立法和监管思路上。相对来说，欧盟在个人数据和隐私保护上更接近于“隐私优先论”，2018年5月正式生效的《一般数据保护条例》（GeneralDataProtectionRegulation，GDPR）确立了“数据可携带权”“被遗忘权”等个人数据控制权，并要建立统一的执法机构。与之相反，美国在强调个人数据和隐私保护的同时，在个人数据控制权立法保护方面要更加谨慎，更接近于“隐私平衡论”甚至“隐私限制论”。对美国、英国和德国等国企业的实证研究也发现了各国对于隐私的认知差异：美国与英国企业的隐私官员一般从避免损害消费者预期的风险管理角度看待隐私保护，而德国、法国和西班牙三国企业主要从人权角度看待隐私。[13]
2.机制的探索：参与和协同
人工智能发展迅速、渗透性强、议题多样复杂。政府、科研机构、大学、企业和社会组织等都有各自的利益诉求和信息优势，多元参与、充分沟通有利于提高人们对人工智能收益和风险的共同认知，并承担共同责任。虽然人工智能治理是个新议题，但从欧美各国的实践来看，它们基本延续了在转基因、纳米、合成生物学、信息技术等新技术治理方面的理念和架构。以一系列法律为核心的正式制度为人工智能治理提供了基本的制度框架和互动规则，例如欧美国家广泛存在的对重大科技公共议题的议会听证制度。对话会、民意调查以及政策制定者和专家之间的社会网络等非正式治理活动也有利于信息的及时传递和各方利益的表达。比如，在奥巴马政府时期，白宫科技政策办公室就人工智能主题举办了一系列旨在广泛征求社会各界意见的研讨会，在此基础上相继发布了《为人工智能的未来作准备》（PreparingForTheFutureOfArtificialIntelligence）《美国国家人工智能研究和发展战略计划》（TheNationalArtificialIntelligenceResearchandDevelopmentStrategicPlan）和《人工智能，自动化与经济》（ArtificialIntelligence,Automation,andtheEconomy）三份报告，较为系统地阐述美国人工智能发展战略、伦理规范和治理机制。2018年以来，美国国会就个人数据和隐私保护相关议题连续举行了多场听证会，Facebook、谷歌、亚马逊等企业巨头均被邀出席。2018年5月，美国政府又在白宫举办人工智能峰会，邀请谷歌、亚马逊、英特尔等企业巨头，以及顶级学术机构的专家等上百位代表参加，重点讨论AI研发、人才培养、制约AI创新发展的体制和特定部门的AI应用等4个议题。2017年6月，英国上议院成立了人工智能专门委员会，负责研究人工智能发展所带来的经济、伦理和社会问题。2018年4月，该委员会发布了《英国人工智能：准备、意愿与能力》（AIintheUK:ready,willingandable）的报告。
当然，人工智能治理过程中多方参与和协同的方式、效果受到特定国家利益集团的结构和制度环境的深刻影响。人工智能的快速发展必然会冲击现有的利益格局，不同利益集团之间的博弈直接决定了各方在相关决策中的话语权和影响力。以隐私保护为例，数据收集者、数据聚合者（主要指各类数据交易平台）、数据使用者和数据监管者这四类利益主体之间的博弈过程会深刻影响一个地区、国家甚至全球的隐私保护政策。[14]同时，人工智能治理过程中利益博弈、政策制定和执行活动都嵌入特定的政策网络当中，会受到其他领域法律法规和政策执行体制的推动和掣肘。总之，欧美国家在推动人工智能公共治理方面的基本经验，不是简单地让知识合法性或参与合法性占据绝对的优势地位，而是把二者间的张力纳入特定的制度框架内，并通过各种具体的活动程序和技术小心翼翼地保持它们之间的微妙平衡。
3.工具的建立：规范和倡导
工具的多元化和适应性是实现有效治理的重要条件。近年来，国际组织、各国政府和立法机构、研究机构等各类主体积极探索建立多样化的人工智能治理工具。法律的约束力强，是人工智能治理可依赖的重要工具，但由于其刚性强，各国在以法律来规制人工智能方面还是相对比较谨慎，尽量平衡风险规制和促进人工智能创新发展的双重需要。总体而言，以美国和欧盟为代表的一些国家和地区在人工智能相关立法方面采取的基本策略，是差别化和场景化——对人工智能不同应用领域进行专门立法。目前，美国和欧洲等国家和地区在自动驾驶方面已有比较成熟的立法，很多国家（地区）也试图加强对深度造假、智能投顾和智能医疗等人工智能应用重点领域的立法规制。[15]
行业技术标准、从业人员行为规范等也是人工智能治理的重要工具。2017年，电气电子工程师协会(IEEE)发布《人工智能设计的伦理准则(第2版)》，对人工智能伦理事项进行了扩充，而且目前还在持续更新和迭代。国际电信联盟（ITU）、国际标准化组织和国际电工委员会第一联合技术委员会（ISO/IECJTC1）等机构也在紧锣密鼓地进行相关标准的研究和制定工作。同时，一些知名科学家、企业家发起国际性的治理倡议，试图在观念和规范层面凝聚全球共识。比如，2017年1月，由未来生命研究所（FutureLifeInstitute）发起，霍金、马斯克领衔推动全球联署的“阿西洛马人工智能23条原则”（AsilomarA.I.Principles）已有超过1000名人工智能/机器人研究人员以及超过2000名其他领域专家签署。该原则从科研目标、科研经费和文化、科学和政策的互动、系统安全可控和透明性，到负责任、隐私、自主性、利益共享、符合人类价值观和不颠覆人类社会秩序等方面提出了23条人工智能研发和应用原则，呼吁全世界严格遵守，共同保障人类未来的利益和安全，在业界引起了很大反响。2018年12月，一项旨在推动人工智能治理全球合作，促进人工智能可持续发展的《负责任地发展人工智能蒙特利尔宣言》（MontrealDeclarationforaResponsibleDevelopmentofArtificialIntelligence）也开始了全球签署。这些国际性的、跨领域的努力为全球人工智能治理合作提供了重要帮助。
（二）全球人工智能治理面临的主要挑战
1.收益和风险的有效识别与公正分配
人工智能是一项正在快速发展且具有重大深远影响的新技术，对它的治理面临着巨大的技术和经济社会影响的“双重不确定性”。如何确保收益和风险的平衡，实现收益的公正分配、风险的合理分担是全球人工智能治理面临的巨大挑战。以就业为例，虽然人们知道人工智能将推动更大范围、更具“劳动替代性”的自动化进程，并重塑全球产业链和就业结构，但替代的规模和方式，影响的大小和结构却众说纷纭、难有定论。再有，人工智能如何加速推动资本替代劳动，是否会加剧“资本回报率高于经济增长率”的趋势，[16]造成劳动参与率和劳动收入占国民收入的比例进一步下降，高端就业岗位和普通就业岗位间的收入差距进一步扩大，让人工智能带来的生产效率提高、社会财富增长等好处主要由少数大企业、大资本和高端技术人员和管理者获得？2018年2月，剑桥大学生存风险研究中心（CentrefortheStudyofExistentialRisk，CSER）等机构联合发布《人工智能的恶意使用：预测、预防和缓解》（TheMaliciousUseofArtificialIntelligence:Forecasting,Prevention,andMitigation），认为滥用人工智能不仅会放大旧风险，还会产生新风险，让数字空间、物理空间和政治领域的风险类型更加复杂。总之，不同国家、群体和个人在人工智能相关风险面前的脆弱性是存在结构性差异的，如何降低风险并更合理分配风险是全球人工治理面临的关键挑战。
2.知识合法性与参与合法性的动态平衡
人工智能具有很高的技术门槛，相比于用户、监管者等主体，技术专家拥有很强的知识优势。但人工智能技术具有极强的渗透能力，将来会出现在工作和生活的各种场景当中，与每个人的利益密切相关。在这种情况下，与人工智能相关的公共决策所需的不仅仅是客观的技术知识，公众的利益诉求和价值判断同样非常重要。探索各种能够促进政府、企业、科学共同体和公众四类主体共同参与、协商共治的方式，不仅能够增加复杂决策所需的技术知识和社会知识，更能增加人工智能治理的参与合法性。但必须指出的是，在现实的人工智能治理活动中，四类主体内部并非“铁板一块”，而是普遍存在着各种观念和利益的分化与差异：政府内部存在不同级别和不同部门间的观点或利益差异；科学界内部存在不同学科间、不同技术路线的差异，而且很多所谓的“科学之争”还混杂着复杂的利益纠葛；产业界内部存在不同产业、不同厂商间的利益差异；公众内部的观念、利益分化则更加普遍。总之，纵横交错的利益关系、知识和政治的深度交织都增加了人工智能治理知识合法性和参与合法性之间的张力和平衡难度。
3.全球人工智能产业竞争和治理合作的良性互动
加强人工智能治理的全球合作是国际社会的共识，但各国、各大企业积极争取掌握更大话语权也是全球人工智能治理的客观事实。2019年2月，美国总统特朗普签署《美国人工智能倡议》，提出要应对来自战略竞争者和外国对手的挑战，并确保美国在人工智能领域的领先地位。2018年3月，欧洲科学与新技术伦理组织（EuropeanGrouponEthicsinScienceandNewTechnologies，EGE）发布的《关于人工智能、机器人与“自主”系统的声明》（StatementonArtificialIntelligence,Roboticsand‘Autonomous’Systems）提出，欧盟要启动相关流程，为机器人技术和自主系统的设计、生产、使用和治理制定一个共同的、国际公认的伦理和法律框架。2018年4月，英国议会发布的《英国人工智能：准备、意愿与能力》（AIintheUK:ready,willingandable）更是提出，英国要利用法律、研究、金融服务和民间机构方面的优势，通过在人工智能伦理与准则制定方面的领先来引领人工智能的发展。
三、我国人工智能治理的探索和挑战
（一）我国加强人工智能治理的主要探索
1.高度重视人工智能发展风险研判和防范
2017年7月，国务院发布《新一代人工智能发展规划》，要求必须高度重视人工智能可能带来的安全风险挑战，加强前瞻预防与约束引导，最大限度降低风险。2018年10月，习近平总书记指出，要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控；要加强人工智能相关法律、伦理、社会问题研究，建立健全保障人工智能健康发展的法律法规、制度体系、伦理道德。
2.积极推进法律法规和政策体系建设
近年来，我国通过分散式立法的方式，修订和出台相关法律法规，重点加强了对个人数据、电子商务、智能金融、自动驾驶等与人工智能发展紧密相关领域的修法和立法工作，努力完善促进人工智能健康发展所需的法律框架。比如，2018年8月十三届全国人大常委会审议通过《中华人民共和国电子商务法》，努力在允许算法推荐和大数据画像等新技术发展和消费者合法权益保护之间寻求平衡。中国人大网公布的《十三届全国人大常委会立法规划》显示，个人信息保护法、数据安全法均被列为第一类项目，即条件比较成熟、任期内拟提请审议。一些政府行业监管部门也陆续出台了一系列部门规章，积极适应本领域人工智能应用的监管需要。比如，中国人民银行等部门联合出台的《关于规范金融机构资产管理业务的指导意见》规定，金融机构应当向金融监督管理部门报备人工智能模型的主要参数以及资产配置的主要逻辑，在促进算法透明和人工智能监管框架等方面做出重要尝试。
3.搭建人工智能治理多方参与平台
2017年11月，由科技部、发改委等15个部门共同构成的“新一代人工智能发展规划推进办公室”宣布成立，负责推进新一代人工智能发展规划和重大科技项目的组织实施。来自高校、科研院所和企业的27名专家组成的“新一代人工智能战略咨询委员会”也同期成立，负责为新一代人工智能发展规划和重大科技项目实施，以及国家人工智能发展的相关重大部署提供咨询。为进一步加强人工智能领域相关伦理、法律和社会问题研究和人工智能治理国际交流合作，2019年2月，新一代人工智能发展规划推进办公室决定成立“新一代人工智能治理专业委员会”。2019年4月，科技部发起“为了AI健康发展：新一代人工智能治理准则建议征集”活动，向政府部门、企业、高校、科研院所和各界人士公开征集建议。在人工智能标准化方面，2018年1月，国家标准化管理委员会宣布成立国家人工智能标准化总体组和专家咨询组，负责全面统筹规划和协调管理中国人工智能标准化工作。
（二）我国人工智能治理面临的主要挑战
1.从跟随者到领跑者的角色转换
长期以来，我国科技发展处于“跟跑”状态，科学研究和产业应用方面会遇到的伦理、法律和社会问题大部分都已由先发国家“蹚过”了，我们可以跟在后面学习借鉴国际经验，不走或少走弯路。当前，新一代人工智能对全世界来说都是一个新事物，在治理方面没有现成的经验。我国人工智能部分领域核心关键技术实现重大突破，市场应用深度和广度迅速增长，与之相关的伦理、法律和社会问题的研究和治理不可能再跟在后面学了——从“跟着学”到“带头做”是一个巨大的角色转变。
2.科技公共治理机制不健全
人工智能治理活动嵌入在特定的科技公共治理制度中，而后者是一个从理念到制度、程序再到具体技术的完整系统。虽然近年来我国在人工智能治理领域已经作出富有成效的探索，但我国科技公共治理体制机制方面的诸多不足还是会给人工智能治理带来诸多挑战，突出表现在以下几个方面：一是产业界、公众参与科技公共决策的依据、程序等仍然缺乏明确、详细的法律规定。二是以知识生产、共识达成和决策扩散等为目标的系列公共治理方法和工具开发不够。三是在开放创新和全球合作共治的大背景下，主动参与国际人工智能治理合作的理念、机制和专业人才准备不足。
四、结论和建议
探索形成一套有效的人工智能治理机制和平台、治理方法和工具，以实现治理结果的趋利避害、治理过程的科学民主，是保障人工智能持续健康发展的内在要求。鉴于全球人工智能治理现状以及我国的具体国情，本文提出以下建议：
一是原则层面，根据收益和风险结构进行分类、分级处理。一方面人工智能在不同领域中的应用所带来的收益和风险存在很大差异；另一方面在人工智能创新和产业化链条的不同阶段和环节，收益和风险的大小和结构也存在很大差异。没有必要，也很难用一个标准来简单地加总利害。从目前国际人工智能治理经验和我国治理实践来看，未来我国人工智能治理遵循的基本原则，是根据风险类型和大小，对不同场景下的人工智能系统开发和应用采用不同的监管模式和治理机制，努力实现创新和安全、知识合法性和参与合法性之间的动态平衡。
二是制度规范层面，人工智能公共治理法治化。首先应当在法律层面规范人工智能治理程序，将相关决策过程纳入法治轨道。其次要在科研经费投入、科研活动监管、公众参与方式和程度等方面，都明确相应的制度安排，在项目形成机制、各类利益相关方代表的产生方式和意见表达程序等内容作出可操作的程序设计。[17]
三是技术层面，开发多样化的人工智能治理技术工具箱。在充分借鉴国际人工智能治理方法和工具的基础上，围绕知识生产、共识形成和行动促进这三个人工智能治理的关键问题，开发适合我国制度环境和社会基础的系列工具。
[ 参 考 文 献 ]
[1]习近平，推动我国新一代人工智能健康发展，2018-10-31.
[2]俞可平.国家治理评估：中国与世界[M].北京：中央编译局出版社,2009：3-8.
[3]翟晓梅,邱仁宗.合成生物学的伦理和管治[N].科学时报,2010-7-19.
[4]卢阳旭,龚旭.科学资助中的控制权分配——以科学基金机构职能变迁为例[J].科学学研究,2019(3).
[5]诺沃特尼,斯科特,吉本斯.反思科学：不确定性时代的知识与公众[M].冷民,等,译.上海：上海交通大学出版社,2011.
[6]马森,魏因加.专业知识的民主化：探寻科学咨询的新模式[M].姜江等译.上海：上海交通大学出版社,2010.
[7]王奋宇,卢阳旭,何光喜.对我国科技公共治理问题的若干思考[J].中国软科学,2015(1).
[8]国家人工智能标准化总体组.人工智能伦理风险分析报告[R].2019.http://www.cesi.ac.cn/201904/5036.html.
[9]贾开,蒋余浩.人工智能治理的三个基本问题：技术逻辑、风险挑战与公共政策选择[J].中国行政管理,2017(10).
[10]汝绪华.算法政治：风险、发生逻辑与治理[J].厦门大学学报（哲学社会科学版）,2018(6).
[11]曾毅.构建新一代人工智能准则[N].光明日报,2019-1-24(16).
[12]Margulis,ST.PrivacyAsaSocialIssueAndBehavioralConcept[J].JournalofSocialIssues,2003.59(2):243-261.
[13]Bamberger,KA,Muligan,DK.2015,Privacyontheground:drivingcorporatebehaviorintheunitedstatesandEurope[M],MITPress.
[14]克雷格,卢德洛芙.大数据与隐私：利益博弈者、监管者和利益相关者[M].赵亮、武青译.2016.长春：东北大学出版社.
[15]汪庆华.人工智能的法律规制路径：一个框架性讨论[J].现代法学,2019（2）.
[16]皮凯蒂.21世纪资本论[M].巴曙松,等,译.北京：中信出版社,2014.
[17]何哲.人工智能时代的政府适应与转型[J].行政管理改革,2016(8).
[作者简介]卢阳旭，中国科学技术发展战略研究院副研究员；何光喜，中国科学技术发展战略研究院研究员。