人工智能的若干伦理问题思考
国内方面相关研究起步较晚，研究不如国外系统与全面。但是近些年来，相关学者也将重点放在人工智能的伦理方面。相关文献有《机器人技术的伦理边界》[7]、《人权：机器人能够获得吗？》[8]、《我们要给机器人以“人权”吗？》[9]、《给机器人做规矩了，要赶紧了？》[10]、《人工智能与法律问题初探》[11]等等。值得一提的是，从以上文献可以看出，我国学者已经从单纯的技术伦理问题转向人机交互关系中的伦理研究，这无疑是很大的进步。
不过，遗憾的是，无论是在国内还是国外，现在仍然很少有成型的法律法规来对人工智能技术与产品进行约束，随着人们将注意力转向该方向，相信在不远的将来，有关政府部门会出台一套通用的人工智能伦理规范条例，来为整个行业作出表范。
三、人工智能是否会取代人类
有关人工智能与人的关系，很多人进行过质疑与讨论。1967年，《机器的神话》[12]作者就对机器工作提出了强烈的反对意见，认为机器的诞生使得人类丧失个性，从而使社会变得机械化。而近些年来，奇点理论的提出与宣传[13]，更加使得人们担忧机器是否将会全面替代人类，该理论的核心思想即认为机器的智能很快就将超过人类。
笔者认为，人工智能不断进步，这是个不争的事实。机器的感觉，运动、计算机能都将会远远超过人类。这是机器的强项。但是不会从根本上冲击人类的岗位与职业。这是出于以下几方面的考虑：首先机器有自己的优势，人类也有自己的优势，且这个优势是机器在短期无法比拟与模仿的。人类具有思维能力，能够从小数据中迅速提炼归纳出规律，并且可以在资源有限的情况下进行非理性决策。人类拥有直觉能够将无关的事物相关化。人类还具有与机器不尽相同的内部处理方式，一些在人类看来轻而易举的事情，可能对于机器而言就要耗费巨大的资源。2012年，google训练机器从一千万张的图片自发的识别出猫。2016年，谷歌大脑团队训练机器，根据物体的材质不同，来自动调整抓握的力量。这对于一个小孩子来说，是很简单的任务，但在人工智能领域，确正好相反。也许正如莫桑维克悖论所阐述的，高级推理所需要的计算量不大，反倒是低级的感觉运动技能需要庞大的计算资源。
其次，目前人类和机器还没有达到同步对称的交互，仍然存在着交互的时间差。目前为止，仍然是人类占据主动，而且对机器产生不可逆的优势。皮埃罗·斯加鲁菲在《智能的本质》[14]一书中曾经提出：人们在杂乱无章中的大自然中建立规则和秩序，因为这样的环境中人类更容易生存和繁衍不息。而环境的结构化程度越高，制造在其中的机器就越容易，相反，环境的结构化程度越低，机器取代的可能性越小。由此可见，机器的产生与发展是建立在人们对其环境的了解与改造上的。反过来，机器的发展进一步促进了人们的改造与认知活动。这就如天平的两端，单纯的去掉任何一方都会导致天平的失衡。如果没有人类的指引与改造作用，机器只能停留在低端的机械重复工作层次。而机器在一个较低端层次工作的同时也会使得人们不断追求更高层次的结构化，从而使得机器向更高层次迈进。这就像一个迭代上升的过程，人－机器－人－机器，以此循环，人类在这段过程中总是处于领先的地位。所以机器可以取代人类的工作，而不是人类。
再次，人工智能的高速发展同时带来了机遇。诚然，技术的发展会带来一些负面影响，但是如果从全局来看，是利大于弊的。新技术的发展带来的机遇就是全方位的。乘法效应就是说明的这个道理：在高科技领域每增加一份工作，相应的在其它行业增加至少4份工作，相应的，传统制造业为1:1.4[14].我们应该看到，如今伴随着人工智能业的飞速发展，相关企业如雨后春笋般诞生，整体拉动了相关产业（服务业、金融业）的发展，带来了更多的就业机会。
而且，任何一项技术的发展都不是一蹴而的，而是循序渐进的过程。无论是最早期的类人猿的工具制造、还是后来的电力发展、再到现在的互联网时代，技术的发展与运用是需要时间来保证的。现在社会上有些人担心人工智能的发展会立即冲击自己的工作，实则是有些“杞人忧天”的意味。以史可以明鉴，历史上大的技术突破并没有对人类的工作产生毁灭性的打击。蒸汽机的诞生替代了传统的骡马、印刷机的诞生取代了传统的抄写员、农业自动化设施的产生替代了很多农民的工作，但这都没有致使大量的工人流离失所，相反，人们找到了原本属于人类的工作。新兴技术创造的工作机会要高于所替代的工作机会。所以，我们不必过分担心机器取代人类工作的问题。
四、谁来为事故负责
2016年7月，特斯拉无人驾驶汽车发生重大事故，造成了一名司机当场死亡。这件事故很快成为了新闻媒体的焦点。人们不仅仅关注这件事情本身所带来的影响，更加担心机器作为行为执行主体，发生事故后责任的承担机制。究竟是应该惩罚那些做出实际行为的机器（并不知道自己在做什么），还是那些设计或下达命令的人，或者两者兼而有之。如果机器应当受罚，那究竟如何处置呢？是应当像西部世界中将所有记忆全部清空，还是直接销毁呢？目前还没有相关法律对其进行规范与制约。
随着智能产品的逐渐普及，我们对它们的依赖也越来越深。在人机环境交互中，我们对其容忍度也逐渐增加。于是，当系统出现一些小错误时，我们往往将其归因于外界因素，无视这些微小错误的积累，我们总是希望其能自动修复，并恢复到正常的工作状态。遗憾的是，机器黑箱状态并没有呈现出其自身的工作状态，从而造成了人机交互中人的认知空白期。当机器不能自行修复时，往往会将主动权转交给人类，人类就被迫参与到循环中，而这时人们并不知道发生了什么，也不知道该怎样处理。据相关调查与研究，如果人们在时间与任务压力下，往往会产生认知负荷过大的情况，从而导致本可以避免的错误。如果恰巧这时关键部分出了差错，就会产生很大的危险。事后，人们往往会责怪有关人员的不作为，往往忽视机器一方的责任，这样做是有失偏颇的。也许正如佩罗所说：百分之60到80的错误可以归因于操作员的失误。但当我们回顾一次次错误之时，会发现操作员面临的往往是系统故障中未知甚至诡异的行为方式。我们过去的经验帮不上忙，我们只是事后诸葛亮[15]。
其实，笔者认为人工智能存在三种交互模式，即人在环内、人在环外与以上两者相结合。人在环内即控制，这个时候人的主动权较大，从而人们对整个系统产生了操纵感。人在环外即自动，这时候，人的主动权就完全归于机器。第三种情况就是人可以主动/被动进入系统中。目前大多数所谓的无人产品都会有主动模式/自动模式切换。其中被动模式并不可取，这就像之前讨论的那样，无论是时间还是空间上，被动模式对于系统都是不稳定的，很容易造成不必要的事故。
还有一种特殊情况，那就是事故是由设计者／操纵者蓄意操纵的，最典型的就是军事无人机这种武器，军方为了减少己方伤亡，试图以无人机代替有人机进行军事活动。无人机的产生将操作员与责任之间的距离越拉越远，而且随着无人机任务的愈加复杂，幕后操纵者也越来越多，每个人只是完成“事故”的一小部分。所以人们的责任被逐渐淡化，人们对这种“杀戮”变得心安理得。而且很多人也相信，无人机足够智能，与军人相比，能够尽可能减少对无辜平民的伤害。可具有讽刺意义的是，美国的无人机已经夺去了2500至4000人的性命。其中约1000位平民，且有200名儿童[14]。2012年，人权观察在一份报告中强调，完全自主性武器会增加对平民的伤害，不符合人道主义精神[16]。不过，目前对于军事智能武器伦理的研究仍然停留在理论层面，要想在实际军事战争中实践，还需要更加做出更多的努力。
综上可以看出，在一些复杂的人机环境系统中，事故的责任是很难界定的。每个人（机器）都是系统的一部分，完成了系统的一部分功能，但是整体却产生了不可挽回的错误。至于人工智能中人与机器究竟应该以何种方式共处，笔者将在下面一节中给出自己的一些观点。
五、笔者的一些思考
通过以上的讨论与分析，笔者认为，人工智能还远没有伦理的概念（至少是现在），有的只是相应的人对于伦理的概念，是人类将伦理的概念强加在机器身上。在潜意识中，人们总是将机器视之合作的人类，所以赋予机器很多原本不属于它的词汇，如机器智能、机器伦理、机器情感等。在笔者看来，这些词汇本身无可厚非，因为这反映出人们对机器很高的期望，期望其能够像人一样理解他人的想法，并能够与人类进行自然的交互。但是，现在的当务之急，是弄清楚人的伦理中可以进行结构化处理的部分，因为这样下一步才可以让机器学习，形成自己的伦理体系。而且伦理，正如第一部分讨论的，是由伦和理组成的，每一部分都有自己的含义，而“伦”，即人伦，更是人类在长期进化发展中所逐渐形成的，具有很大的文化依赖性。更重要的是，伦理是具有情景性的，在一个情景下的伦理是可以接受的，而换到另一种情景，就变得难以理解，所以，如何解决伦理的跨情景问题，也是需要考虑的问题。
而且值得一提的是，就人机环境交互而言，机指而不仅仅是机器，更不是单纯的计算机，而且还包括机制与机理。而环境不仅仅单指自然环境、社会环境，更要涉及到人的心理环境。单纯的关注某一个方面，总会做到以偏概全。人工智能技术的发展，不仅仅是技术的发展与进步，更加关键的是机制与机理的与时俱进。因为两者的发展是相辅相成的，技术发展过快，而机制并不完善，就会制约技术的发展。现在的人工智能伦理研究就有点这个意味。现在的人类智能的机理尚不清楚，更不要提机器的智能机理了。而且，目前机器大多数关注人的外在环境，即自然环境与社会环境，机器从传感器得到的环境数据来综合分析人所处的外在环境，但是却很难有相应的算法来分析人的内部心理环境，人的心理活动具有意向性，具有动机性，这也是目前机器所不具备的，也是不能理解的。所以对于人工智能的发展而言，机器的发展不仅仅是技术的发展，更是机制上的不断完善。研究出试图理解人的内隐行为的机器，则是进一步的目标。只有达到这个目标，人机环境交互才能达到更高的层次。
六、发展与展望
人工智能伦理研究是人工智能技术发展到一定程度的产物，它既包括人工智能的技术研究，也包括机器与人、机器与环境及人、机、环境之间关系的探索。与很多新兴学科一致，它的历史不长，但发展速度很快。尤其是近些年，依托着深度学习的兴起，以及一些大事件（AlphaGo战胜李世石）的产生，人们对人工智能本身，以及人工智能伦理研究的兴趣陡然上升，对其相关研究与著作也相对增多。但是，可以预期到的是，人工智能技术本身离我们设想的智能程度还相去甚远，且自发的将人的伦理迁移到机器中的想法本身实现难度就极大。而且如果回顾过去的话，人工智能总是在起伏中前进，怎样保证无论是在高峰还是低谷的周期中，政府的资助力度与人们的热情保持在同一水平线，这也是一个很难回避的问题。这些都需要目前的人工智能伦理专家做进一步的研究。
总之，人工智能伦理研究不仅仅要考虑机器技术的高速发展，更要考虑交互主体-人类的思维与认知方式，让机器与人类各司其职，互相促进，这才是人工智能伦理研究的前景与趋势。
参考文献：
[1][法]斯特凡·东希厄,徐寒易译.会做梦的机器人[J].环球科学.2017(4):48-49.
[2]毕彦华.何谓伦理学[M].中央编译出版社,2010.
[3][美]维纳,陈步译.人有人的用处:控制论与社会[M].北京大学出版社,2010.
[4][美]哈里亨德森，侯然译.人工智能-大脑的镜子[M].上海科学技术文献出版社,2011.
[5]M.Anderson,S.Anderson,C.Armen,TowardsMachineEthics:ImplementingTwoAction-BasedEthicalTheories[C].InM.Anderson,S.Anderson,C.Armen(Eds.),MachineEthics:AAAIFallSymposium,TechnicalReportFS-05-06.MenloPark,CA:AAAIPress,2005:1-7.
[6]王绍源,崔文芊.国外机器人伦理学的兴起及其问题域分析[J].未来与发展,2013,(06):48-52.
[7]迟萌.机器人技术的伦理边界机器人技术与应用[J].2009,(03).
[8]江晓原.人权:机器人能够获得吗?--从《机械公敌》想到的问题[N].中华读书报,2004-12-l.
[9]黄建民.我们要给机器人以"人权"吗?读书与评论[J].2009(06):55-58.
[10]姜潘.给机器人做规矩,要赶紧了[N].文汇报,2011-6-7.
[11]唐昊沫,舒心.人工智能与法律问题初探[J].哈尔滨学院学报,2007(01)
[12][美]刘易斯.芒福德,宋俊岭等译.机器的神话[M].北京:中国建筑工业出版社,2009.
[13][美]库兹韦尔,李庆诚,董振华,田源译.奇点降临.北京：机械工业出版社.2011.
[14][美]皮埃罗斯加鲁菲，任莉张建宇译.智能的本质[M].北京:人民邮电出版社,2017.
[15]JamesReason.Humanerror[M].:CambridgeUniversityPress.1990.
[16]杜严勇.关于机器人应用的伦理问题[J].2015,vol5(2):25-34.
摘自《科学与社会》2018.1返回搜狐，查看更多
光明日报：人工智能的伦理挑战与科学应对
编者按
2023年2月21日，中国外交部正式发布《全球安全倡议概念文件》，呼吁“加强人工智能等新兴科技领域国际安全治理，预防和管控潜在安全风险”。在中国式现代化进程中，人工智能的技术革新是助推我国科技创新的重要力量之一。作为最具代表性的颠覆性技术，人工智能在给人类社会带来潜在巨大发展红利的同时，其不确定性也会带来诸多全球性挑战，引发重大的伦理关切。习近平总书记高度关注人工智能等新兴科技的发展，强调要加快提升“人工智能安全等领域的治理能力”，“塑造科技向善的文化理念，让科技更好增进人类福祉”。为此，本版特组织几位青年学者围绕人工智能的伦理挑战与科学应对展开讨论，并邀请专家予以点评，以期引发学界的更多关注，为推动人工智能健康发展贡献智慧。
与谈人
彭家锋中国人民大学哲学院博士生
虞昊华东师范大学政治与国际关系学院博士生
邓玉龙南京师范大学哲学系博士生
主持人
刘永谋中国人民大学哲学院教授、国家发展与战略研究院研究员
1.机遇与挑战并存的人工智能
主持人：新技术革命方兴未艾，以人工智能等为代表的新兴科技快速发展，大大拓展了时间、空间和人们的认知范围，人类正在进入一个“人机物”相融合的万物智能互联时代。请具体谈谈人工智能给人类社会发展带来什么样的机遇？
彭家锋：人工智能、大数据、物联网、云计算等智能技术蓬勃兴起，对人类社会的方方面面产生深刻影响，推动整个社会逐步迈入智能社会。在此过程中，存在许多重大历史机遇需要我们把握。就技术治理而言，人工智能作为一种治理技术，正在助推社会治理的治理理念、治理方式、治理效能等方面的变革，将传统技术治理提升至智能化新阶段，呈现出“智能治理的综合”趋势。智能治理将全面提升社会公共治理的智能化水平，主要呈现出四个方面的特征：一是治理融合化，即促进各种智能技术与其他治理技术相互融合，大幅度提升智能社会的治理水平；二是治理数据化，即以日益增长的海量数据为基础，通过对数据映射出来的“数字世界”进行社会计算，实现治理目标；三是治理精准化，即发挥智能技术强大的感知能力、传输能力和计算能力，将传统的粗放治理转变为精准治理；四是治理算法化，即不断完善智能决策系统，尝试将程序化的算法决策扩展到更多的决策活动中，从而提高决策质量。
虞昊：人工智能有助于反思人类社会得以建立与发展的基础。随着分析式AI向着生成式AI不断演变，尤其是生成式AI初步展现出判别问题、分析情感、展开对话、创作内容等越来越具有人类特征的功能，原本属于人类的领域正被人工智能以另一套由“0”与“1”构成的计算机语言逐步侵蚀。这既是对人类社会的冲击，也势必会在更加平等的开放性框架中增强人类的主体性，促进人类社会进一步发展。
邓玉龙：总体来说，以人工智能为代表的新科技发展，显著提升了社会生产力。例如，生成式AI不但能完成传统AI的分析、判断工作，还能进一步学习并完成分析式AI无法从事的创造性工作。从人机交互的角度来看，人工智能也促进了生产关系的高效发展。具体表现在：一是刺激劳动形态的转化。人工智能高效承担大量的基础机械性劳动，人类劳动则向高阶的创造性劳动转化，由此引发社会层面的劳动结构转型、升级，并且以人工智能为中介，社会范围内的劳动整合、协调能力也实现升级。二是促进劳动场域的重构。随着劳动形态的转化和劳动的社会化扩展，人工智能将劳动从固定场域中解放出来，人类劳动的灵活性增加。相比于创造性劳动，机械性劳动更加受到空间和时间的制约，而在人工智能从技术层面替代更低边际成本的基础性劳动之后，人类劳动空间和时间的自由性实现跃迁。三是对主体的发展提出了更高要求，尤其是对主体适应社会发展提出了更高要求。人工智能技术的发展对人类传统的知识结构提出挑战，要求人类更新原有的知识结构以适应社会发展需要，也对教育提出更高要求，教育模式和教育内容需要更契合科技发展的水平，培养更加全面发展的人才。
主持人：人工智能的一系列产物在给人们带来生活便利的同时，也一定程度上引起大家对其可能引发的伦理挑战的警惕。一些人关注人工智能的风险问题，对人工智能的推进有些焦虑。如何看待这种警惕和焦虑？
虞昊：人工智能的风险以及由此带来的焦虑，是完全可以理解的。但我们无法返回一个没有人工智能的世界，人工智能已然深度介入人类社会，试图遏制人工智能的推进只能是螳臂当车。同时我们对人工智能的发展也不能放任不管，无视甚至于压制人工智能的推进只能是掩耳盗铃。因此，我们应该正视这种焦虑，在发展人工智能的过程中探求解决方案，在人工智能带来的风险中寻求危中之机。
邓玉龙：我们应正确看待这种焦虑。要看到，焦虑有其积极的意义，它体现人类的忧患意识，催生对人工智能风险的预见性思考，提醒我们注意焦虑背后人工智能技术发展存在的问题。正确对待焦虑有助于积极采取措施防范风险，辩证分析焦虑中先见性的思考，通过社会治理模式的升级化解风险问题。同时，仅有焦虑和恐惧是不够的，更重要的是积极解决人工智能发展带来的社会问题。从劳动的角度看，人工智能确实会取代部分人类劳动，推动劳动结构转型升级，让劳动向着碎片化、个体化方向发展，劳动者处于弱势地位，面临着“机器换人”的挑战。但是我们也应该理性认识到，人工智能不是对人类劳动能力的完全替代，而是对劳动者提出了更高的要求，要求劳动者掌握科学知识，将技术的发展内化为自身能力，在更具创造性的劳动中实现自身价值。
彭家锋：任何技术的发明使用，不可避免地伴随着这样或那样的风险。人工智能技术自然也不例外，在其应用过程中，同样引发了诸如隐私泄露、算法歧视、法律责任等风险问题。因此，关注人工智能的风险问题，并由此对人工智能的推进产生焦虑，具有一定理论依据和现实基础。但更应当清醒地认识到，人工智能的某些相关风险可以提前得到规避，并不必然会发生；即便真的发生，也仍可不断寻求化解风险的有效手段。以个人隐私滥用风险为例，在治理过程中，虽然不可避免地会涉及个人数据收集和分析处理，但可以通过建立完整的规范和监管体系来保护个人隐私，降低滥用风险。
2.人工智能科技竞争的“伦理赛道”
主持人：习近平总书记在以视频方式出席二十国集团领导人第十五次峰会时指出，“中方支持围绕人工智能加强对话，倡议适时召开专题会议，推动落实二十国集团人工智能原则，引领全球人工智能健康发展”。请谈谈“人工智能原则”应包含哪些内容？科技向善的文化理念对推动全球人工智能健康发展具有怎样的现实价值？
彭家锋：为应对人工智能等新科技快速发展带来的伦理挑战，2022年，中共中央办公厅、国务院办公厅印发了《关于加强科技伦理治理的意见》，其中明确了“增进人类福祉”“尊重生命权利”“坚持公平公正”“合理控制风险”“保持公开透明”等五项科技伦理原则。我认为，这五项原则基本涵盖了人工智能原则的伦理要求，彰显了科技向善的文化理念。科技向善的文化理念，根本目标是让科技发展更好地服务社会和人民，带来良好社会或社会公益的善。科技向善对推动全球人工智能健康发展至少具有以下三个方面现实价值：一是塑造公众信任。公众对人工智能的信任很大程度上并不完全由相关风险程度决定，而是取决于公众的利益与价值是否得到足够重视。后者正是科技向善的内在要求。二是引领技术创新。科技向善的文化理念将在技术创新发展过程中发挥价值引领作用。三是促进全球合作。科技向善的文化理念试图在全球范围内建立人工智能伦理规范的“最大公约数”，各国在达成伦理共识的基础之上，能够建立互信，实现更加充分深入的国际合作。
虞昊：个人认为，人工智能原则也应包含非对抗与非失控的理念。非对抗意味着不应将人工智能视作人类社会的对抗性存在，人工智能已经成为人类社会的构成性要素，我们必须持更为开放的态度去面对人工智能。非失控意味着不应放弃对人工智能的伦理规范，应以智能的方式去规范加速发展的人工智能。如果以上述理念为前提，也就是说，在支持人工智能发展的情况下，科技向善的文化理念在推动全球人工智能健康发展中就变得极为重要。此处的“善”在国家治理层面即指向“善治”，而当人工智能的发展从国家范围扩展到全球范围，“善治”就在构建人类命运共同体的意义上拥有了更贴近现实的内涵。各国应摒弃冷战思维与零和博弈，基于善意与友谊共同思考人类作为整体如何在人工智能的冲击下通往全球性的“善治”。
邓玉龙：2019年欧盟发布《可信赖的人工智能伦理准则》，2021年中国国家新一代人工智能治理专业委员会发布《新一代人工智能伦理规范》（以下简称《规范》）。与欧盟发布的伦理准则相比，《规范》体现了中国特色社会主义的制度优势，旨在将伦理规范融入人工智能全生命周期。人工智能发展的根本目的是促进人的全面发展，因此，我以为，人工智能原则还应体现共享和有序发展的要求。共享，旨在防止人工智能的技术垄断。科技发展应该兼顾全体人民的利益，而不是服务于少数群体，由全体人民共享科技发展成果，推动全球科技水平的共同增长。有序发展，旨在防止人工智能技术的无序扩张。人工智能技术的发展最终是为了提升人的幸福感，推动科技有序发展能够促进人机和谐融合，有效预防潜在无序扩张的风险。
主持人：从规范层面来说，伦理反思对规范人工智能发展的作用主要体现在哪些方面？
彭家锋：近年来，世界各主要国家在人工智能领域竞争日趋激烈，纷纷将人工智能发展置于国家发展的战略层面。比如，美国陆续出台《国家人工智能研究和发展战略计划》（2016）和《关于维持美国在人工智能领域领导地位的行政命令》（2019）；欧盟先后发布《欧洲人工智能战略》（2018）和《人工智能白皮书》（2020）；中国也较早发布了《“互联网+”人工智能三年行动实施方案》（2016）和《新一代人工智能发展规划》（2017）。人工智能科技竞争的客观局面已然形成。在此背景下，如果忽视人工智能技术发展所带来的全球性风险与挑战，极有可能陷入技术赶超的竞争逻辑。因此，亟须规范人工智能的科技竞争，而倡导伦理反思或许就是一条可行之路。伦理反思的意义至少在于：一是设定伦理底线。人工智能技术的开发和应用需要遵循一些基本的价值理念和行为规范。只有守住伦理底线，才有可能避免颠覆性风险的发生。二是实现敏捷治理。伦理反思是一个动态、持续的过程，贯穿于人工智能科技活动的全生命周期。为了确保其始终服务于增进人类福祉和科技向善的初衷，需要保持应有的道德敏感性，以灵活、及时、有效的手段化解人工智能带来的各种伦理挑战，确保其在科技向善的道路上行稳致远，实现良性发展。
邓玉龙：人工智能科技竞争是为了促进科学技术发展，而科学技术发展的最终目的是推动人类社会的进步。人工智能科技竞争不应该仅包括技术竞争的单一维度，更不应该通过技术优势遏制他国的科技发展，而应该是在人工智能科技条件下的综合性竞争，通过良性竞争促进全球人工智能和全人类的共同发展。其中就应该包括社会治理竞争，通过社会治理保障社会公平，因而对社会中人与人关系的伦理反思构成人工智能科技竞争的有机组成部分。首先，伦理反思对人工智能科技竞争提出了更高的要求。人工智能的公平性、可信任性、可解释与透明度、安全性不仅是伦理要求，也代表了人工智能技术的发展方向，是人工智能科技竞争需要抢占的技术制高点。科技的发展是为了人的全面发展，因而人的发展内嵌于科技发展要求，伦理反思有助于防止工具主义的泛滥。其次，伦理反思为人工智能科技竞争提供价值引导。伦理反思注重保障人的权利，科技发展并不是社会发展中的唯一衡量因素，我们还应该关注其中多样性的因素，尤其注重保护特殊群体的利益，例如防止数据鸿沟等不良影响。伦理反思有助于实现人工智能的综合性健康发展。
3.人工智能安全与人的全面发展
主持人：科学探究一直以来都是人们认识世界和了解自身的重要认知方式，人工智能等信息产业的革命如何影响着人们的认知方式？
彭家锋：人工智能等信息产业的革命，促进了科学研究新范式——数据科学的诞生，进而对人们的认知方式产生深刻影响。数据科学被认为是继实验、理论和模拟之后的新的科研范式。相较于传统科学，数据科学融合了统计和计算思维，通过人工智能等技术提供的海量数据、强大算法和算力，能够直接从数据中寻找相关关系、提取相关性或者预测性知识，进而产生一种基于相关性的科学思维模式。但这种相关性并不一定能够转化为因果关系，因为可解释性对于从数据科学技术确定的相关性中提取因果解释至关重要，而相关技术一般都缺乏必要的透明度和可解释性。数据科学更可能成为一种预测科学，但是预测并不是科学追求的唯一目标。通过揭示世界的潜在因果结构来解释和干预现象，也是科学的两个重要目标。因此，尽管数据科学能够通过分析大量数据生成相关性知识，却不能直接产生因果解释。对此，传统科学的可检验性假设方法和因果规律探求仍有其重要价值。数据科学并非取代传统科学，相反，两者将相互补充，共同成为人类探索世界的有效工具。
虞昊：显而易见的是，随着人工智能向着通用人工智能迈进，其能够为人们提供的教育资源、生活娱乐、工作讯息也越来越丰富，人们势必越来越依赖于通过与人工智能进行交互来获取外界信息。因此，当人工智能深度地构成人们认知世界的滤镜时，若不对人工智能本身具有重复性、同质性倾向的认知框架保持警醒，人工智能可能扭曲人们的认知方式直至影响人的主体创造性。
邓玉龙：以人工智能为代表的全新技术发展被称为第四次工业革命，其中最显著的特征就是机器与人类的深度融合，机器不再作为一种外在性的工具被人类使用，而是在与人类的深度关联中影响人类的认知方式。一方面，信息产业革命丰富了人类认知的联结方式。人工智能和大数据技术的发展促进人类的分析逻辑从因果关系扩展为相关关系，对相关关系的重视使人工智能可以从大数据而非小数据维度获取信息，为人类认知提供新的视角。按照传统人类认知方式的理解，因果关系要求关于世界的认知是确定性的，而这在数字时代的复杂性社会中很难实现。人工智能对相关关系的认知填补了这一缺失，允许我们在无法掌握确定信息但在掌握大量数据的条件下对未来趋势作出预测。另一方面，如果我们对人工智能等科技的输出结果和生成内容盲目信赖，将结果和内容与经验事实之间进行绝对等同的连接，误认为是事实的全部，那么我们就会丧失人文主义抽象反思的能力，对此我们应当保持警惕，始终坚持反思和批判的人文精神。
主持人：如何调适人的主体创造性与信息高度集成共享之间的关系？
彭家锋：当人们逐渐将更多创造性工作交由人工智能完成，不免让人担忧人工智能是否将会威胁到人的主体创造性。从人机关系的角度来看，这种担忧是基于一种人机敌对论的视角，认为人工智能挤压了人的主体创造性空间，是替代逻辑的延续。但从人机协作的视角出发，将人工智能看作人的得力帮手，通过创造性地使用人工智能可以赋予人类更大的创造性空间。比如，在进行文字写作、多媒体脚本、程序代码、文稿翻译等工作时，可先由人工智能高水平地完成草稿工作，然后再由人类进行一些创造性的调整和发挥。此时人工智能生成的内容将成为进一步创作的原材料，人类将以更高的效率投入创造性活动之中。当然，要实现以上效果并非易事，不仅需要思想观念的转变，还应在制度安排、教育方式等方面作出相应调整。
虞昊：面对信息高度集成共享的人工智能，人有可能转变为算法的动物。试想下述场景：当依据人工智能展开行动变得足够便捷有效时，行动者便会倾向于采信人工智能，此时，看似是人类行动者基于自然语言在进行互动，实则是算法逻辑基于计算机语言在进行数字化运转。于是，人的主体创造性被侵蚀，人可能沦为算法动物。对此类情形，我们应该保持足够的清醒与警惕。
邓玉龙：人工智能技术生成的内容（AIGC）具有高度集成共享的特性，能够高效地对人类知识进行数据挖掘、信息生成。调适人的主体创造性与信息高度集成共享之间的关系，我们需做到如下几个方面：首先，需要通过人的创造性扩大AIGC数据库，当下AIGC主要是依赖于大语言模型，以大量的网络文本作为训练数据库生成的，通过人的创造性生成可以不局限于网络文本，而是进一步扩展数据库的训练文本，从而提高其丰富度。其次，需要通过人的创造性为AIGC提供价值训练，通过人的创造性生成的价值立场、伦理法则等与AIGC的训练数据库相融合，从而建构可信赖、可持续的信息高度集成共享机制。最后，需要将人创造性生成的内容与AIGC共同作为人类知识的来源，人类知识的获得不能仅仅局限于AIGC，而是需要人发挥其主体创造性对人工智能技术生成的内容进行反思和拓展，将人类无法被数据化的、经验性的知识与AIGC数据化的知识融合成为人类知识的来源。
（张颖天整理）
刑法如何应对人工智能带来的风险挑战
姜涛
人工智能并不真正具有意识，也不具有非难的意义和适用刑罚的能力，因此人工智能本身不是刑罚适用的适格主体。但人工智能带来的诸多风险不容忽视，需要强化人工智能的制造者与使用者的规范意识，从刑法教义学上前瞻性地回答人工智能的制造者与使用者的行为与刑法中相关罪名的关系。
人工智能属于人类社会的第四次工业革命，它的快速发展开启一个以新的技术支撑新的社会结构的人类新时代。但从刑法学角度来说，人工智能带来什么样的风险挑战，刑法如何合理应对人工智能，这都需要法律人进行前瞻性思考。
人工智能进入社会生活带来的两重风险
人工智能，顾名思义，就是能够模仿、延伸、扩展人类思维、活动的技术。面对人工智能在全球的快速发展，2017年7月国务院印发的《新一代人工智能发展规划》指出，“在大力发展人工智能的同时，必须高度重视可能带来的安全风险挑战，加强前瞻预防与约束引导，最大限度降低风险，确保人工智能安全、可靠、可控发展。”笔者认为，国务院发布的这一文件对人工智能的定位是准确的，人工智能在给我们带来便利、带来发展的同时，也会带来风险。
一是人工智能技术带来的风险。人工智能目前还未完全成熟，存在许多缺陷。这些缺陷不可避免地会给社会带来一定的风险和严重影响。比如，在光线条件不良的情况下，自动驾驶的汽车可能会因错误识别“减速慢行”标志牌而将人撞死或导致重大财产损失，或者自动驾驶系统故障、没有正确采集数据等原因发生故障而导致驾驶员死亡；无人机进入客机的飞行航线，造成重大安全风险；利用人工智能进行网络性军事攻击；等等。
二是人工智能制造者制造的风险。就企业生产的人工智能产品来说，不仅会使用大量数据，导致公民个人信息等隐私被泄露的风险，可能会被别有用心的人利用实施犯罪，而且可能被利用实施大规模的、极具针对性的高效攻击，构成安全隐患。这样的风险还包括企业违规制造机器人、使用者拒不销毁具有危险的机器人等。如果没有严格的控制，这种风险会辐射到经济、文化、教育等各个领域，带来严重的社会安全问题。
笔者认为，为了适应社会的发展，更好地应对人工智能时代面临的新问题、新挑战，不仅需要回答人工智能有无刑事责任能力问题，而且需要从刑法教义学上对人工智能涉及的犯罪有所解答。
人工智能不具有刑事责任能力
人工智能对刑法的挑战首先在于归责。许多人对人工智能是否具有刑事责任能力展开了讨论，有肯定论与否定论之分。
通过对人工智能发展的梳理不难发现，人工智能虽然“神奇”，但是离不开两个必需的条件：一是人工智能离不开大数据的支持。没有足够的数据作为训练样本，人工智能就无法发现自身算法的漏洞，没有机会对算法函数进行修正，产生错误就在所难免。二是人工智能离不开运算能力的提升和深度学习框架的构建。深度学习框架对于人工智能具有重要意义，它的原理是构建多层人工神经网络，借助神经生理学的知识模拟人类的神经活动，然后输入大数据进行训练、学习，根据训练得到的结果重新设置参数向正确结果拟合，最终实现模拟人脑的功能。大量的计算和固定的框架导致人工智能更擅长处理有规则性的事务，不过一旦规则改变，情况就大不一样。这对人工智能能否作为归责的主体具有重要意义。笔者认为，尽管当前还处于“弱人工智能时代”，人工智能的未来发展图景尚不能确定，但是从目前来看，人工智能仅是一种帮助人类完成那些有规则可循的重复性工作的工具，并不具有真正的意识，也就不应当具备刑事责任能力。
其一，人工智能并不真正具有意识。从研究现状来看，人工智能主要由人类预先设置好处理步骤，再通过大量计算得出不同决策的得分，根据得分的高低选择何种行为。人工智能虽然看似能够像人类一样自主决策，但是这些决策都是在设计者预先设定的算法框架下得到的，所谓的“自主性”也仅仅是不同决策间的选择，人工智能并不具有人的智能所有的通用智能，没有对刑罚的感受力和自由意志。
其二，人工智能不具有非难的意义。刑罚处罚是一种文化现象，人类社会延续至今所形成的生命刑、自由刑等之所以有效，是因为罚与被罚都能够以被感知、传递的方式来呈现，从而对被破坏的社会关系予以恢复，从而改变人们的认知，让犯罪的被害人满足报应情感，让犯罪者产生悔意，让社会民众感受到惩罚的威力、必然性等。如果惩罚不能满足这类情感需要，则处罚是没有意义的。人工智能是一种信息技术革命的产物，自身不能感知到刑事处罚的意义，惩罚机器人不如直接废弃或销毁更有社会意义。更何况，通过刑罚措施不能够消除人工智能带来的风险，也不能实现预防再犯的刑罚目的之期待。
其三，人工智能不具有适用刑罚的能力。刑罚作为一种对他人生命、自由等权益的剥夺，是否适用，必须要考虑被处罚对象的刑罚能力，这是预防犯罪的需要。这种刑罚能力与被处罚人的自由意志有关，目的在于使被处罚人认识到处罚带来的痛苦，以痛改前非，重新做人，从而消除再犯罪的危险。从自由意志角度来看，人工智能的价值性体现在工具上，它的自由意志是拟制的、虚拟的。从刑罚能力的角度来看，人工智能作为一种工具，本身并没有自由或者财产，而是设计者或者使用者的一种财产，无论是自由刑还是财产刑都不能对人工智能造成损害，刑罚真正能够发挥其震慑、惩罚犯罪的功能只有在设计者或者使用者身上才能实现。
人工智能的刑法教义学解答
既然人工智能会带来诸多风险，造成刑法所保护的法益遭受破坏或具有被破坏的危险，而人工智能本身又不是刑罚适用的适格主体，这就需要强化人工智能的制造者与使用者的规范意识，从刑法教义学上前瞻性地回答人工智能的制造者与使用者的行为与刑法中相关罪名的关系。
“企业的保证人义务”与拒不履行信息网络安全管理义务罪。企业应从人工智能技术的训练就开始遵循审慎规则，对可能产生的危险进行识别、处理，履行保证人义务，保证设计出的人工智能技术是安全、无瑕疵的。如何附加保证人义务，可以参考民法上的规则，设计的人工智能技术必须经过大量、充分的实验测试，确保不会对他人的人身或者财产安全造成损害，才可以投放市场，否则认定为未履行保证人义务；对于已经投放市场的人工智能技术，需要跟踪关注安全状况，及时召回具有缺陷的技术产品，并对已经造成的损害进行赔偿。如果不履行保证人义务，可以纳入刑法的规制范围。具体而言，不履行保证人义务致使人工智能扰乱网络秩序、影响网络安全的，可以视为企业作为人工智能服务的提供者，而未履行信息网络安全管理义务，适用刑法第286条规定的拒不履行信息网络安全管理义务罪进行定罪处罚。此外，不履行保证人义务致使他人人身或者财产遭受严重损害的，可以视为未履行危险源的管理义务，从而构成相应犯罪的不作为犯罪。
“企业的监管失灵”与非法经营罪之兜底条款的扩大解释。人工智能是一个风险与利益并存且专业性较强的行业，要从事这一行业，就要对企业的研发能力进行评估、审核，给评级合格的企业发放人工智能技术的经营许可证，禁止评级不合格的企业从事人工智能的研发工作。同时，结合事前和事后审查，建立人工智能的产品许可与监督制度。事先审查，由专业机构根据相关安全标准对人工智能中数据、算法实现的功能以及可能存在的风险进行评估，给评估合格的产品发放生产、销售许可证，保证人工智能设计上的合法性与安全性。事后审查，采取登记制度，记录人工智能技术的设计者、使用者的信息及其主要功能。改变主要算法使得功能产生实质性变化的，需要进行功能变更登记；转让人工智能技术的，需要进行使用者信息变更登记。对违背经营许可制度、产品许可与监督制度的企业，适用刑法第225条第4项非法经营罪之兜底条款定罪处罚，当然，前提是制定相关的司法解释。
“用户的数据”与侵犯公民个人信息罪。用户的数据是公民的个人信息，属于用户自身。人工智能在挖掘分析大数据时，不能忽视对公民个人信息的保护。虽然现行法律对个人信息的界定以及保护已经有了明确规定，如民法总则第111条、网络安全法第41条以及两高发布的《关于办理侵犯公民个人信息刑事案件适用法律若干问题的解释》第1条等，但目前纳入“公民个人信息”保护仅指能够识别特定自然人身份或者反映特定自然人活动情况的各种信息，包括姓名、身份证号码、联系方式、住址、账号密码、行踪轨迹等。笔者认为，对公民个人信息的保护范围应当扩大，如用户行为习惯，公民经常搜索有关金融理财的内容，于是金融理财产品的链接开始频繁出现在浏览的网页上，原因是用户的搜索记录被分析出具有理财的倾向。类似的信息被泄露虽不会对公民人身、财产安全产生威胁，但被过度分析会侵犯公民的隐私空间，使公民生活透明化。对此，应当摆脱公民人身、财产安全的限制，将个人隐私以及其他对公民生活具有重要影响的信息也纳入刑法有关公民的个人信息的保护范围。对未经允许擅自挖掘、利用用户个人信息造成严重后果的行为，可以适用刑法第253条侵犯公民个人信息罪定罪处罚。
“拒不销毁”与以危险方法危害公共安全罪。降低人工智能风险，除了规范人工智能企业的活动之外，还要关注违法使用（主要是个人）人工智能技术的现象。随着人工智能的发展，逐渐大众化是人工智能未来的趋势。当这些人工智能产品被违法使用时，就要将涉嫌违法犯罪的人工智能产品没收然后销毁。拒不销毁的，可以适用刑法第114条以及第115条以危险方法危害公共安全罪定罪处罚。这样解释的理由是：（1）从近年来发生的无人机致使飞机暂停降落、自动驾驶汽车因错误识别道路标志撞死行人等现象来看，人工智能产品具有高风险性，会对不特定多数人的人身、财产安全产生严重影响，这符合以危险方法危害公共安全罪的法益保护范围。（2）以危险方法危害公共安全罪是自然人犯罪，主体只能是自然人。与企业不同，公民个人在违法使用人工智能产品的情况下，可以成为以危险方法危害公共安全罪的主体。
（作者为南京师范大学中国法治现代化研究院教授）
“信息茧房”、隐私外泄，如何应对人工智能带来的伦理风险
1
/行善
增进人类福祉(well-being)；社会利益(socialgood);共同利益（commongood）
2
/不伤害
隐私(Privacy)；安全(Security)；正直(Integrity)
3
/自治
自主决定权（Autonomy）；选择权（Choice）；知情同意（Consent）；自由（Freedom）
4
/正义
避免不公平（Avoidunfairness）；不歧视与不偏见(non-bias/non-discrimination)
5
/可解释性
明确的问责（Accountability)；透明性（Transparency）
近年来，技术界也越来越关注AI伦理问题。全球人工智能顶会IJCAI、NeurIPS、AAAI上出现了越来越多的AI伦理论文，话题范围涉及AI可解释性，安全AI，隐私与数据收集，公平与偏见等。而在近20年以来各个大型AI会议上提及伦理关键字的论文标题的数量都在逐年增加。
02
欧盟，人工智能伦理立法先驱
2015年1月欧盟议会法律事务委员会(JURI)成立专门工作小组，开始研究机器人和人工智能发展相关的法律问题；2019年4月，欧盟委员会发布了正式版的人工智能道德准则《可信赖人工智能的伦理准则》，提出了实现可信赖人工智能（TrustworthyAI）全生命周期的框架。该准则提出，可信赖AI需满足3个基本条件：
1
合法的(lawful),即系统应该遵守所有适用的法律法规；
2
合伦理的(ethical)，即系统应该与伦理准则和价值观相一致；
3
稳健的(robust)，不管从技术还是社会的角度来看，AI系统都可能会造成伤害。所以系统中的每个组件都应该满足可信赖AI的要求
对于AI从业者，该准则包含四项道德原则，确保AI从业者以值得信赖的方式开发、部署和使用人工智能系统：
尊重人的自主性（respectforhumanautonomy）：人类与人工智能系统之间的功能分配应遵循以人为本的设计原则，并为人类选择留下有意义的机会。预防伤害（preventionofharm）：人工智能系统及其运行的环境必须安全可靠，确保不会被恶意使用。弱势群体应得到更多关注。还必须特别注意人工智能系统可能由于权利或信息不对称而导致或加剧不利影响的情况。公平性（fairness）：人工智能系统的开发、部署和使用必须是公平的，公平体现既有实质性的也有程序性的。可解释性（explicability）：可解释性对于建立和维护用户对AI系统的信任至关重要：流程需要透明、人工智能系统的能力和目的需要公开沟通、并且决策（在可能的范围内）可以向直接和间接受影响的人解释。有时候，解释为什么一个模型产生了一个特定的输出或决策并不总是可能的。这些情况被称为“黑盒”算法，在这些情况下，需要其他可解释性措施，例如，系统功能的可追溯性、可审计性和透明通信等。2018年5月25日，欧盟《通用数据保护条例（GDPR）》正式生效。这一条例明确定义了个人数据及其适用范围，为数据保护提供合法性基础，并明确了数据主体权利、数据控制者义务、数据流通标准、数据救济和处罚等，已经成为全球众多国家与地区制定数据保护条例的重要参考。
之后，欧盟又陆续颁布了更多的数据相关法案。2020年2月欧盟发布《数据战略》，带来数据治理的整体规划，按照其规划，又相继于2021年末至2022年初密集发布了一系列数据法案，包括《数据治理法案（DGA）》、《数据服务法案（DSA）》、《数据法案（DA）》、《数据市场法案（DMA）》等。
中国人工智能伦理立法稳步推进
2017年7月，中国国务院发布了《新一代人工智能发展规划》。规划呼吁，不仅要重视人工智能的社会伦理影响，而且要制定伦理框架和伦理规范，以确保人工智能安全、可靠、可控发展。
2018年1月，在国家人工智能标准化总体组的成立大会上发布了《人工智能标准化白皮书2018》。白皮书论述了人工智能的安全、伦理和隐私问题，认为人工智能技术需遵循的伦理要求设定要依托于社会和公众对人工智能伦理的深入思考和广泛共识上，并遵循一些共识原则。
2019年2月，科技部在北京召开新一代人工智能发展规划暨重大科技项目启动会，成立了新一代人工智能治理专业委员会。同年6月，国家新一代人工智能治理专业委员会发布了《新一代人工智能治理原则》。
《治理原则》提出，为发展负责任的人工智能，人工智能发展相关各方应遵循以下原则：和谐友好，公平公正，包容共享，尊重隐私，安全可控，共担责任，开放协作以及敏捷治理。9月，专委会正式发布《新一代人工智能伦理规范》(以下简称《伦理规范》)，细化落实《新一代人工智能治理原则》，将伦理道德融入人工智能全生命周期，为人工智能应用的相关活动提供伦理指引。这是中国发布的第一套人工智能伦理规范。
相比于2019年《治理原则》中针对人工智能发展需遵循的原则，2021年发布的《伦理规范》中提出了更加细化与严谨的6项基本伦理要求：
1
增进人类福祉
坚持以人为本，遵循人类共同价值观，尊重人权和人类根本利益诉求，遵守国家或地区伦理道德。坚持公共利益优先，促进人机和谐友好，改善民生，增强获得感幸福感，推动经济、社会及生态可持续发展，共建人类命运共同体。
2
促进公平公正
坚持普惠性和包容性，切实保护各相关主体合法权益，推动全社会公平共享人工智能带来的益处，促进社会公平正义和机会均等。在提供人工智能产品和服务时，应充分尊重和帮助弱势群体、特殊群体，并根据需要提供相应替代方案。
3
保护隐私安全
充分尊重个人信息知情、同意等权利，依照合法、正当、必要和诚信原则处理个人信息，保障个人隐私与数据安全，不得损害个人合法数据权益，不得以窃取、篡改、泄露等方式非法收集利用个人信息，不得侵害个人隐私权。
4
确保可控可信
保障人类拥有充分自主决策权，有权选择是否接受人工智能提供的服务，有权随时退出与人工智能的交互，有权随时中止人工智能系统的运行，确保人工智能始终处于人类控制之下。
5
强化责任担当
坚持人类是最终责任主体，明确利益相关者的责任，全面增强责任意识，在人工智能全生命周期各环节自省自律，建立人工智能问责机制，不回避责任审查，不逃避应负责任。
6
提升伦理素养
积极学习和普及人工智能伦理知识，客观认识伦理问题，不低估不夸大伦理风险。主动开展或参与人工智能伦理问题讨论，深入推动人工智能伦理治理实践，提升应对能力。
2022年3月，中共中央办公厅、国务院办公厅印发了《关于加强科技伦理治理的意见》(以下简称《意见》，明确指出科技伦理是开展科学研究、技术开发等科技活动需要遵循的价值理念和行为规范，是促进科技事业健康发展的重要保障。《意见》包含制定生命科学、医学、人工智能等重点领域的科技伦理规范、指南等，通过建立并完善科技伦理相关规范和标准，明确科技伦理要求；建立科技伦理审查和监管制度；提高科技伦理治理法治化水平，同时鼓励和加强科技伦理理论研究。
图表10.多国人工智能伦理原则关注对比
展望未来：人工智能应如何约束？
1、平衡治理监管与产业协调发展
尽管欧盟在规范AI伦理问题上下手早，但其过度监管也给相关市场的发展带来了限制，造成欧盟在数字产业的发展上全面落后于全球。在全球技术主权激烈竞争的背景下，立法与监管政策需要保持谨慎思考，在治理与发展之间做好平衡，在方便企业满足AI伦理风险的同时，为企业、行业以及相关产业提供充分的发展空间。
2、针对人工智能伦理的高风险场景特别立法
为了降低人工智能伦理执法的难度，一些国家针对特定部门/高风险应用场景单独立法。如许多国家把人工智能系统在医疗领域中应用列为需要关注的场景，在这些领域中，算法产生的结果将直接关乎人类的生命福祉。按照针对不同风险等级制定不同严苛程度的管理思路，可以通过分场景监管，做到有收有放，进而实现治理与发展的平衡。
3、提升科研机构和企业对人工智能伦理的认知及自律
在规避人工智能可能产生的伦理风险上，科研机构和企业更容易在相关实践中获得第一手信息，也更应该承担起构建安全人工智能技术的主要责任。
4、提高全社会科技伦理意识
伦理问题涉及到社会行为准则与规范，而治理伦理问题则需从公共管理的角度出发，在充分了解人工智能技术所带来的潜在社会影响，找到相对应的解决办法，并形成社会对人工智能伦理的共识。建议利用各种渠道广泛的进行科技伦理宣传、活动与交流，提升公众的科技伦理意识，进而加强全社会对人工智能伦理的广泛监督。
作者：阿里研究院韩冰意、苏中
责编：斌卡（转载及媒体合作请评论区留言）
参考文献：
直播预告返回搜狐，查看更多