智能机器人能否成为刑事责任主体
人工智能，是当前全球的热点话题，亦是我国国家战略布局的重要组成部分。智能机器人是典型的人工智能实体之一，其主要通过传感器、数据等与外界进行交流，是具备“深度学习”及自主决策能力，能够随着环境变化自我调节、适应的有形实体。随着人工智能技术的迅速发展，智能机器人的运用范围已遍及医疗、交通、制造、军事、教育等领域，“AlphaGo”、自动驾驶汽车、智能医疗机器人等智能机器人的出现颠覆了人类对于机器人的传统认知。
然而，智能机器人在为人类提供便利的同时，其致人损害事件也时有发生。2007年，美国食品药品监督管理局就曾收到指控医疗外科手术机器人导致病人遭受烧伤、切割伤与感染的投诉，数量多达200余次，其中包括89例致人死亡的事故；2015年，德国曾发生工人被工业机器人伤害致死的事故；2018年3月20日，在美国发生优步无人驾驶汽车撞人致死的交通事故，这是首例无人驾驶汽车致人死亡事故；等等。随着智能机器人各项技术的日益成熟，其运用必然更加广泛，类似的智能机器人侵害人类人身、财产的事例还会增多，智能机器人实施严重危害社会的行为将会直接威胁人类的生存。
那么，智能机器人实施犯罪行为应当如何归责呢？有学者提出，智能机器人是一种高科技产品，仅是被人类使用的工具，智能机器人实施严重危害社会行为的刑事责任应当根据案件情况由研发者、生产者或使用者承担。然而，无条件要求研发者、生产者承担智能机器人实施犯罪行为的刑事责任，将过分加重其研发风险及成本。人工智能技术发展迅速且尚存在未知难题，智能机器人的算法程序、决策路径等对于研发者、生产者来说仍具有一定未知性。研发者、生产者在研发、生产时如果完全不可能预见智能机器人的缺陷，刑法要求其承担刑事责任似乎并不恰当。同时，智能机器人的“深度学习”及自主决策能力决定了使用者并不能完全预见其决策及行为，智能机器人在使用者无过失的情况下正常运行并自主决策实施严重危害社会的行为，此情况下要求使用者承担刑事责任亦不具备合理性，与刑法中的“罪责自负原则”相悖。如此看来，如果智能机器人不享有刑事责任主体地位，那么在生产者、研发者、使用者均无过失而智能机器人依据自主决策实施犯罪行为的情况下，将面临没有刑事责任主体承担刑事责任的窘境。倘若将此类智能机器人严重危害社会行为全部作为意外事件处理，则可能对人类社会安全造成重大隐患。因此，人工智能时代下有必要确认智能机器人的刑事责任主体地位。
从我国刑法规定来看，刑事责任主体须具备刑事责任能力，而行为人的刑事责任能力则通过行为人是否具备“理性”进行判断。“理性”包括“认知理性”与“行为理性”两个方面，通俗来说就是行为人对其危害行为的辨认能力和控制能力。“认知理性”是特定主体以感性认知为基础，运用归纳、辩证、演绎等方法从复杂的事物中辨识、提炼本质，透过表象揭露本质的思维过程；“行为理性”则是特定主体在面临自身欲望或要求时，运用已有知识全面地预测、权衡采取满足自身欲望或要求行动的有利及不利后果，在充分衡量利弊后根据趋利避害的原则决定其最终将要从事行为的思维过程。我国刑法将年龄和精神状况作为影响和决定行为人刑事责任能力的两个因素。一般而言，人类从幼儿到成年的辨认和控制能力将逐渐变强，而精神状况正常的行为人比精神失常的行为人具备更强的辨认和控制能力。
智能机器人刑事责任能力的认定同样应以其是否具备“理性”作为基本依据，具体应从智能机器人“理性”的来源、智能机器人可能具备的“理性”水平两个方面进行判断。
其一，智能机器人的“理性”来源于人类，是人类认知理性与行为理性的延伸。人类思维、人类行为、理性思维及理性行为是界定人工智能的四大基本标准，模拟人类思维及人类行为是人工智能的基础。一方面，智能机器人本身就承载着研发者的知识、规则、逻辑与伦理等，而其扩展认知的“深度学习”行为也是以人类社会的信息、数据为对象，并遵循研发者设定的学习目标与范围；另一方面，人工智能具备在最大限度实现某一特定目标时确定从事或不从事某些行为的理性，而智能机器人的行为控制能力主要受研发人事前拟定的算法及程序控制，研发人在拟定算法和程序时主要以人类的行为控制作为参照，同时将人类社会的伦理道德、法律等规范作为行为守则。
其二，智能机器人具备与人类相当甚至超越人类的认知理性及行为理性。认知理性方面，智能机器人的运算逻辑是知识、信息与规则的高度统一，人类社会的知识、经验、法律、道德等均在智能机器人内部转为海量数据，其对自身行为社会危害性的辨认能力与人类相当甚至超越部分人类。“深度学习”能力则决定了智能机器人不仅仅是承载人类思维的工具，而是能够产生自我意识并具备相当认知弹性的个体。行为理性方面，智能机器人以最大限度实现某一特定目标为宗旨，兼顾研发人事前输入的人类社会的伦理道德、法律规范等行为守则，选择出最优的实施方案并予以执行，放弃不利于实现特定目标或违反行为守则的方案。可见，智能机器人能够以与人类相当甚至超越人类的认知能力准确预测、权衡其实现某行动将产生的后果，在人类伦理道德、法律规范等行为守则的约束下选择最优的实施方案。智能机器人对行为的精准控制仅依靠算法，免受人类欲望、情绪的控制，这决定了其控制能力能够与人类相当甚至超越部分人类。
总而言之，人工智能时代下智能机器人能够具备与人类相当甚至超越人类的辨认能力和识别能力，依据刑法的规定应当将其作为刑事责任主体。确认智能机器人的刑事责任主体地位，不仅符合刑法中的“罪责自负原则”，还能有效规制智能机器人的犯罪行为，做好未来社会的风险防控，让人工智能技术真正造福而不是毁灭人类社会。
（作者单位：西南政法大学经济法学院）
人工智能的侵权责任划分——以自动驾驶汽车为视角
文|浙江工商大学法学院马齐林简怡倩
2016年1月，河北邯郸的高雅宁驾驶特斯拉汽车在高速公路上以“自动驾驶定速模式”行驶。在遭遇位于前方的道路清扫车时，特斯拉车载人工智能却未采取任何紧急制动或避让措施，导致高雅宁径直撞上道路清扫车，并最终抢救无效死亡。
作为我国首起基于人工智能的侵权案件，此案具有一定的代表性。虽然我国目前尚未发生大规模的人工智能侵权案件，但随着自动驾驶汽车的普及，其后或将有类似的案件诉至法院。因此，有必要就人工智能带来的冲击进行前瞻性讨论，并制定相应的风险分担机制，以保障生产者、使用者及受害人的利益。
人工智能的定义
关于人工智能，目前学界有诸多不同定义。尤其在判断智能的标准上，更是有着极大争论。笔者认为，从机器到机器人，人工智能的不同之处在于，其具备了在数据交换的基础上完全的自主学习能力、基于具体环境信息下的自主判断能力，以及自主作出相关行动的能力。概括来说，人工智能是不需要人类介入或干预，即可进行“感知-思考-行动”的机器人。
至于基于人工智能设计的自动驾驶汽车的概念，各国规定也不尽相同。依据美国汽车工程师学会给出的评定标准，自动驾驶可分为6个等级。其中，第0-2级为辅助驾驶车辆；第3-4级为高度自动驾驶车辆（HighlyAutomatedVehicle，以下简称“HAV”）；第5级则被称为无人驾驶车辆（Self-DrivingCar，以下简称“SDC”）。
本文所称的自动驾驶，并不包括辅助驾驶。下文分析均基于第3-5级人工智能自动驾驶下的交通肇事情形。
传统民事侵权责任的适用困境
（一）过错侵权责任原则适用困难
依据《中华人民共和国侵权责任法》（以下简称《侵权责任法》），归责以过错责任为核心、以无过错责任为例外。但是，在自动驾驶汽车侵权中，通常难以确定当事人的过错。
以特斯拉汽车为例，在启用SDC模式下，人工智能将独立接管全车的驾驶控制系统，而无需驾驶员进行任何辅助。从某种意义上说，此时驾驶员已经完成了由司机到乘客的角色转变。那么，当发生交通肇事时，若法律将过错归责于驾驶员，则与发明自动驾驶汽车的意义相违背。同时，也将对驾驶员造成极大的不公平，因为这将使其对非因自身过错导致的结果负责。但是，若将过错归责于生产者，也难以自圆其说。究其原因，事发时，人工智能系统是基于自我学习感知而作出的行为，生产者本身并不干预人工智能的具体行动。
（二）产品责任难以举证
当侵权受害人无法以过错责任要求驾驶员赔偿时，理论上似乎可以引用产品责任的无过错原则，以产品缺陷为由，向生产商、制造商追偿。但是，在实践中，该追责方式同样极为困难。
根据我国相关法律规定，受害方负有证明产品存在缺陷的举证责任。但就自动驾驶汽车肇事侵权案件来说，证明其外部机械设备制造缺陷较为容易，证明警示缺陷也有可论证空间。但是，若存在内部的人工智能设计缺陷，由于其技术的高精尖性及不可预测性，受害方很难证明该人工智能自主学习后的程序运行结果是有缺陷的，更难以进一步证明该算法运行结果会有“危及人身或财产安全的不合理危险”。即使发生了交通事故，因人工智能具有高度的自主性和学习能力，且其后天的学习不为初始制造人员所控制，所以，仅从技术层面论证，很难将责任归咎于生产商。生产商甚至还可以援引“开发风险”抗辩或以“技术中立”来主张免责。
（三）人工智能本身不能成为责任主体
有学者指出，既然无法直接适用《侵权责任法》的过错责任与产品责任，那么，能否由人工智能直接承担法律责任？目前来看，这个答案仍然是否定的。依据我国现有法律规定，只有法律主体可承担法律责任，而人工智能尚不具备法律人格，无法成为法律主体，故也无法独立承担法律责任。
若想调整和规范人工智能侵权问题，需对现行法律规则作出进一步完善。笔者提出以下构想，以供讨论。
明确自动驾驶下的风险分担原则
由于人工智能无法独立承担侵权责任，因此，当自动驾驶发生交通肇事时，在无法直接适用现有《侵权责任法》的前提下，应当将产生的风险进行分配，以明确侵权责任。
（一）风险控制原则
依据风险控制原则，当某些日常活动存在一定危险性、有损害他人人身及财产安全的风险时，为了保障社会安全秩序，必然需要相关人员对其中的风险加以控制。该相关人员应具备以下条件：需对特定事物或活动的危险有一定了解；当危险发生时，相关人员需有控制风险的技术或能力。在此情况下，因特定风险引发的损失应由控制该风险的相关人员承担法律责任。
在HAV状态下，机动车的驾驶员或所有人均能对驾驶活动所存在的风险予以一定控制，因而法律有必要赋予其警示义务。在此情形下发生的交通事故，机动车的驾驶员或所有人均应依法对由风险引起的损失承担相应的民事责任。但是，在SDC状态下，基于驾驶员对完全自动驾驶的合理信任，以及发明人工智能自动驾驶的本意，法律可不强制要求驾驶员负有警示义务，驾驶员此时无需对损失承担最终责任。
（二）危险开启原则
危险开启原则认为，存在危险的日常行为活动是社会发展的必然需要，危险本身是被法律所允许的，危险活动的开启人并不需要承担法律责任。但是，在活动进行过程中，如果有关人员存在过失，则危险活动的开启人为责任主体，应承担责任。
在HAV和SDC状态下，驾驶员使用自动驾驶系统，会在原有基础上给社会增加一定危险，属于开启一种危险活动的行为。由此，在HAV状态下，若驾驶员在驾驶过程中存在过错（如未合理注意），则其应为事故的责任主体；而在SDC状态下，驾驶员虽并无警示义务，但基于其危险开启人身份，也应与生产者共同承担不真正连带责任。
（三）报偿原则
报偿原则认为，给予每个人其应得的东西，乃是“正义”概念的题中之义。“应得的东西”既包括正面的利益，也包括负面的罚则。该理论应用于民法领域，即当民事主体进行活动或负责管理某物时，其在享受该民事行为带来的收益的同时，也要承担伴随而来的风险。
在自动驾驶状态下，首先的受益者是驾驶员。当人工智能为其服务时，驾驶员既解放了双手，又能到达目的地。但是，考虑到驾驶员（或者说车辆所有者）已在购车时就付出了相应的购置费，因此，可以认定其已提前为自己所受利益“买单”。
此外，人工智能自动驾驶系统的生产商也是受益人之一。一方面，生产商已收受消费者高昂的购置费；另一方面，自动驾驶系统在被使用过程中会自动识别路况、收集数据，并通过内置程序反馈给生产商，而生产商则可以利用这些数据，进一步升级和完善人工智能系统。由此可见，生产商的收益是贯穿人工智能生产和使用全阶段的。因此，基于报偿原则，由生产商承担主要责任、驾驶员或车辆所有者承担次要责任，是符合公平正义原则的。
根据上述风险控制、危险开启和报偿原则，在使用自动驾驶系统的过程中所产生的事故责任，应当由机动车驾驶员或车辆所有人、人工智能系统生产商和车辆生产商等民事主体依合理比例进行分担。
自动驾驶侵权下各主体具体责任划分
（一）驾驶员责任
在HAV状态下，若因人工智能系统问题而造成机动车交通事故，将责任完全归于无过错的驾驶员显失公平。根据上述风险控制原则，只有当系统已警示驾驶员进行接管而驾驶员未操作时，驾驶员才需对此次事故承担与其过错相应的责任。但是，由于受害者是比驾驶员更弱势的存在，其利益更值得保护。因此，在举证责任方面，应当适用过错推定原则，由驾驶员举证自身不存在过错。
在SDC或已尽警示义务的HAV状态下，非因驾驶员干预而引发事故时，驾驶员将不承担任何过错责任。但是，根据报偿原则，驾驶员享有一定的受益。因此，为了保护受害人的利益，在此种情形下引入不真正连带责任的概念是可以接受的。此时，受害人具有向驾驶员或生产商索赔的选择权。驾驶员先清偿后，可再向生产商追责。
（二）外部载体生产商责任
当自动驾驶汽车内部人工智能系统与外部机械载体不属于同一生产商时，则发生责任主体的分离。如发生制造缺陷情形，则应单独追究载体生产商的责任。在现实生产中，若产品本身已背离其设计意图，那么，即便在制造和销售该产品的过程中已尽到所有可能的谨慎，产品仍然会存在不合理的危险性，即制造缺陷。制造缺陷通常与设计无关，而是由于在制造的过程中质量不过关、工艺水平达不到要求、产品物理构造缺陷等原因引起的。自动驾驶汽车外部载体的制造缺陷与其他普通产品的制造缺陷并无不同，仍可适用我国关于产品责任的相关法律规定。
（三）内部智能系统生产商责任
内部智能系统生产商，即核心AI程序的生产商。目前，人工智能自动驾驶系统在测试中所出现的问题，主要分为以下几种：
设计缺陷。设计缺陷通常指的是某一产品在设计上存在的固有缺陷。从自动驾驶系统的角度看，设计缺陷指的是自动驾驶系统的生产者在进行预置算法、设计程序等制造过程中就已经“埋下”的不合理危险。该缺陷并非由于人工智能的后天学习所致，而是先天的人为可控缺陷。因此，设计缺陷属于《中华人民共和国产品质量法》的调整范围，可引用现行产品质量问题归责方式，由生产者和销售者承担不真正连带责任。
警示缺陷。只有在HAV模式中，人工智能自动驾驶系统才需要驾驶员进行配合、保持一定的警示、随时等待接管或进行其他操作，故警示缺陷仅发生在HAV模式中。但是，驾驶员进行接管或采取其他操作的前提是系统发出警示，并且生产商已经提前告知消费者使用方法。若生产商未尽告知义务或因其过错导致警示系统存在缺陷，则应由生产商承担最终责任。
不可验缺陷。不可验缺陷是指由于产品内置了人工智能系统而引发的特殊独有缺陷。由于人工智能已具备自主学习能力，因此，算法行为从根本上来说是动态的，是生产者难以提前预见的，人工智能系统的“感知-判断-行为”这一决策逻辑过程，都取决于其自身的经验和与驾驶环境的相互作用，依赖于自身学习所产生的数据。当出现交通事故时，或许按照人工智能自身的逻辑判断并不应出现问题，或者无法查明究竟是何种原因引发人工智能作出相关行为，进而导致事故，此类危险可称为人工智能的不可验缺陷。笔者认为，此处应当借鉴美国、日本的理念，对生产者适用绝对责任。同时，设立风险转移途径以降低生产者的制造压力。如今，人工智能系统几乎摆脱了人类的操控。因而，讨论人类在主观上的故意或过失已无太多意义，更有必要关注所引起的侵害事实与损失，这也契合提出绝对责任之初衷。
生产者的风险转移
基于受害者的弱势地位，赋予生产者以绝对责任是可接受的。但不可否认的是，人工智能技术目前仍未完全发展成熟，此时将不可验缺陷所导致的侵权责任一味地归由生产商承受，或将极大地打击国内厂商研发人工智能的积极性。因此，有必要建立生产商的风险转移机制，以减轻其责任负担，促进人工智能生产研发的蓬勃发展。笔者提出以下几点建议：
（一）建立双轨制责任保险制度
商业保险作为现代社会经营者转移风险的重要途径之一，也可被引入自动驾驶领域。美国加利福尼亚州最新制定的自动驾驶汽车明示条款规定，制造商必须以投保商业保险、提供保证金或自保证明的方式，证明其有能力对自动驾驶车辆交通肇事判决承担损害赔偿责任。
就我国自动驾驶行业而言，建立双轨制保险制度是可选路径。首先，驾驶员投保机动车强制责任险的义务仍然保留，以便于应对人工驾驶或在HAV模式中驾驶员承担过错责任时的损害赔偿。但同时，保险内容应当新增“因车辆使用者未尽检查、维修义务或未按法律规定使用汽车等原因造成的交通事故”条文，并提高相应的保费。其次，由保险公司设立专门的人工智能自动驾驶责任险。其主要保险对象为因人工智能自动驾驶系统的不可验缺陷所造成的侵权责任，并可参照机动车交强险的强制投保义务，由法律强制要求生产商为其生产的人工智能产品投保。
在双轨制责任保险制度下，当自动驾驶车辆肇事后，不仅生产者和驾驶者承担责任的压力可减轻，同时，受害者也将获得充分的保障。
（二）设立人工智能信托责任基金
除了保险途径外，建立信托责任基金也是应对人工智能侵权的方式之一。美国曾颁布的“价格-安德森法案”（Price-AndersonAct）为核事故设立了两层责任保障：第一层是私人保险，由保险公司承保；第二层是责任保险基金池，属于事故责任信托基金，由运营核反应堆的私营公司按比例分摊和注入资金。
与核产品类似，自动驾驶汽车的高社会效用同样伴随着高风险。无人驾驶如若在未来全面普及，全城的汽车行驶路线将完全取决于内置的人工智能程序的决策。彼时，如果人工智能程序遭受黑客攻击而发生大面积错乱驾驶，又或者人工智能因自身逻辑错误而罢工，其灾难性将不亚于核泄露。因此，笔者认为，有必要为人工智能自动驾驶设置类似的信托基金池，由运营自动驾驶的私营公司按比例分摊池内金额，以保障在第一重保险赔偿后仍无法受偿的受害人获得第二重救济。
人工智能的发展已成为不可阻挡的历史潮流，现有的法律体系必然将受到冲击。本文以人工智能领域中发展较快的自动驾驶汽车行业为切入点，分析了现代法律在适用人工智能侵权时可能陷入的困境，并进一步探讨了自动驾驶下的具体侵权责任划分。希望借此能为我国法律规制人工智能问题提供一些思路，进而促进人工智能领域的良性发展。
【本文系2018年浙江省软科学研究计划项目（计划编号：2018C35050）研究成果】
如果医学人工智能犯了错，责任谁担WHO公布指南
原创界弟医学界
AI和医生发生“同行分歧”时，怎么办？
撰文|韦晓宁
6月28日，世界卫生组织（WHO）发布指南《医疗卫生中AI使用的伦理和管治》。这份指南有160余页，阐述了AI在医疗领域中的应用、适用的法律和政策、关键的伦理原则和相应的伦理挑战、责任机制和治理框架等，共九章。
WHO表示，这是医疗AI领域首份根据道德规范和人权标准制定的综合国际指南。
指南由WHO数字卫生和卫生创新与研究团队领导完成，用时两年。同时，WHO与20人专家领导小组合作，确定6项核心原则，以提高在医疗卫生领域使用AI伦理水平。这也是该领域的第一批共识原则。
六项核心原则为：
1.保护自治权
2.促进人类福祉、人类安全和公共利益
3.确保透明度、可解释性和可理解性
4.培养责任感和问责制
5.确保包容和公平
6.促进具有响应性和可持续性的AI发展
WHO指出，将AI技术用于医疗卫生有着巨大的前景，将应用于医疗护理、卫生研究和药物开发、卫生系统管理和规划、公共卫生及其监测四个方面。综合指南内容，“医学界”整理了部分在医疗领域使用AI可能会出现的伦理问题及其应对措施。
AI会不会导致医护人员失业？
“如果我们做对的话，30年以后应该是医生找不到工作了，医院越来越少了，药厂少了很多。”2014年11月的世界互联网大会上，阿里巴巴时任董事局主席马云宣布，健康将会成为阿里未来的两大产业之一。
在此次发布的指南《医疗卫生中AI使用的伦理和管治》中，WHO多次提到美国的谷歌、脸书和亚马逊，以及中国的腾讯、阿里巴巴、百度等互联网技术公司。相关中国平台向用户提供在线医疗信息等，惠及中国数百万人。
阐述AI在临床护理中使用的趋势时，WHO以中国为例，“在中国，远程医疗提供者数量在新冠肺炎大流行期间增加了近4倍。”这能够改善医疗资源紧张、医护人员不足的现状。同时，慢性疾病等类型的患者，也能够借助AI更好地进行自我管理，降低对医护人力资源的需求。
将来，会不会如马云所说，医生将找不到工作？《医疗卫生中AI使用的伦理和管治》中，乐观的观点是，AI将减轻临床医生的日常工作负担，让他们与患者相处的时间更多，并专注于更具挑战性的工作；医护人员将履行其他角色，如标记数据或设计和评估AI技术等，因此不会失业。
悲观的观点：AI将实现医护人员许多工作和任务的自动化。大量工作使用AI将导致短期内的不稳定，即使创造新工作岗位、增加总体就业，某些领域的许多工作岗位也都会流失，那些无法胜任新岗位的人将会失业。
应对措施：
几乎所有的医疗卫生工作都要求最低水平的数字和技术熟练程度。有研究指出，在20年内，英国国家医疗服务体系（NHS）90%的工作都需要数字技能。医生必须提高自己这方面的能力，同时更多地与患者沟通使用AI的风险，做出预测、讨论权衡，包括使用AI技术的道德和法律风险。
还需要注意的是，对AI系统的依赖可能会削弱人类的独立判断能力。在最坏的情况下，如果AI系统失灵或受损，医护人员和患者可能无法采取行动。所以，应制定强有力的计划，在技术系统出现故障或被破坏时提供支持。
实际上，许多高、中、低收入国家目前都面临卫生工作者短缺的问题，WHO估计，到2030年，将有1800万卫生工作者短缺，主要集中在中低收入国家。并且，关于患者的临床经验和知识至关重要。因此在可预见的未来，AI不会取代临床医生的职责。
AI和医生发生“同行分歧”怎么办？
医生自主权如何保证？
在医疗护理方面，诊断中，AI在放射学和医学成像领域应用较为广泛，但仍相对新颖，尚未常规应用于临床决策。目前，AI正在评估用于诊断肿瘤、眼科和肺部疾病，并可能通过成像、超声心动图等，实现卒中、肺炎、宫颈癌等疾病的及时检测；可能用于预测心血管疾病、糖尿病等疾病或重大健康事件的发生。临床护理中，AI能预测一些疾病进展和耐药性。
在临床护理的某些方面，AI取代人类的判断是有好处的：与机器相比，人类可能做出更不公平、更有偏见、更糟糕的决定。当机器能够更快速、准确、灵敏地执行决策时，将决策交给人类，可能意味着一些患者会遭受可避免的发病和死亡。
目前，在医疗卫生领域，决策权尚未完全从人转移到机器。矛盾的是，在AI和医生出现“同行分歧”的情况下，如果医生忽略机器，AI就没有什么价值；如果医生选择完全接受AI的决定，这可能会削弱其权威和责任。
比“同行分歧”更甚的情况可能正在出现：AI系统正在取代人类成为认知权威，常规医疗职能可能会完全交给AI。如果不采取适当措施，这将破坏人类的自主权，人类可能既不能够明白AI是如何决定的，也不能够与AI谈判，以达成协商的决定。
应对措施：
在医疗AI化的背景下，自主意味着人类应该继续完全控制医疗卫生系统和医疗决策。在实践中，应该能够决定是否将AI系统用于特定的医疗决策，以及在适当时对决策进行排序。这能确保临床医生可以推翻AI系统做出的决定，使其“本质上可逆”。
另外，AI应该是透明的和可解释的。医疗卫生机构、卫生系统和公共卫生机构应定期公布使用一些AI技术的原因，以及定期评估AI的信息，避免连开发者都无法理解的“算法黑箱”出现。
使用AI犯了错，谁来担责？
据《日本经济新闻》2018年7月报道，日本政府将完善关于AI医疗设备的一系列规则，规定诊断的最终责任由医生承担：由于AI存在误诊的可能，因此把AI医疗设备定位为辅助设备，基于《医师法》规定“作出最终诊断和决定治疗方针的责任由医生承担”。通过明确这样的责任范围，鼓励厂商进行AI医疗设备的开发。
新闻传出时引起巨大争议。此次WHO发布的指南指出，从整体上看，如果基础数据既准确又具有代表性，AI可能会降低误诊率。然而当误诊发生时，由医生承担责任是否合理？
WHO的答案是否定的。首先，临床医生不会控制AI技术。其次，由于AI技术往往不透明，医生可能不理解AI系统如何将数据转换为决策。第三，使用AI技术，或是因为医院系统或其他外部决策者的偏好，而非临床医生的选择。
指南指出，AI技术的某些特征影响了责任和问责概念，可能会造成“责任缺口”的问题：因为AI会进行自我发展，并非每一步都是人为设定，开发人员和设计师会宣称自己不对其负责任，这样就把伤害患者的风险全都加在离AI更近的医护工作者身上，而这是不合理的。
第二个挑战是危害的“可追溯性”，这也长期困扰着医疗决策系统。由于AI的发展涉及到许多部门的贡献，从法律和道德上都很难分配责任。并且，伦理指南常常由技术公司发布，缺乏权威或具有法律约束力的国际标准；监督企业是否遵守自己的指导方针往往是在内部进行的，几乎没有透明度，也没有第三方执行，不具有法律效力。
应对措施：
如果临床医生在使用AI技术时犯了错误，应该检视他们的医疗培训中是否有人需要承担责任。如果有一个错误的算法或数据用于训练AI技术，责任可能落到开发或测试AI技术的人身上。不过，临床医生不应该完全免除责任。他们不能简单地在机器建议上盖章，忽视自己的专业知识和判断。
当AI技术的医疗决定伤害个人时，问责程序应明确制造商和临床医生的相对作用。将责任分配给开发人员，可以鼓励他们尽量减少对患者的伤害。其他生产商，包括药品和疫苗生产商、医疗器械公司和医疗设备制造商，也需要明确自己的责任。
当决定在整个医疗系统中使用AI技术时，开发人员、机构和医生可能都在医疗伤害中发挥了作用，但没有一个人是“全责”。在这种情况下，责任可能不是由技术的提供者或开发人员承担，而是由选择、验证和部署该技术的政府机构承担。
在指南中，WHO还提及了公众隐私、商业技术公司的责任、算法分配的偏见和误差、机器排放二氧化碳所导致的气候变化等伦理问题。WHO呼吁建立医疗AI治理的框架，在数据治理、私营和公共部门治理、政策观察和示范立法、全球治理等方面提出了建议。
“我们的未来，是一场‘不断增长的技术力量’以及‘我们使用它的智慧’之间的竞赛。”指南中，其首席科学家苏米亚·斯瓦米纳坦博士引用了一句史蒂芬·霍金的话。
资料来源：
1.Ethicsandgovernanceofartificialintelligenceforhealth:WHOguidance.Geneva:WorldHealthOrganization;2021.Licence:CCBY-NC-SA3.0IGO.
2.支付宝可挂号还能对医生好差评，一场大颠覆即将席卷而来https://www.sohu.com/a/150369692_119659
3.AI犯了错医生来担责日本将制定AI医疗规则_健康界https://www.cn-healthcare.com/article/20180703/content-505291.html
来源：医学界
原标题：《如果医学人工智能犯了错，责任谁担？WHO公布指南》
阅读原文
陈永伟：关于人工智能的主体、责任和算法监管，我的一些思考
（作者陈永伟，为《比较》研究部主管。本文根据作者2019年3月19日在工信部赛迪研究院组织的“人工智能伦理与法律”内部研讨会上的发言整理而成。）
近年来，人工智能技术发展迅猛，已经迅速从科幻走进了现实，这给生产生活带来了很多的便利，但与此同时也带来了很多新的问题。在这种背景下，如何对人工智能进行有效治理，就成为了人们不得不应对的挑战。
关于对人工智能的治理，涉及到的问题很多。这里我不想全面展开，只想挑选其中的几点谈一下我自己的一些不成熟思考。
第一点是人工智能的主体问题。随着技术的发展，机器正变得越来越像人，甚至可以单独地完成一些过去只有人类才能完成的行为。例如，现在的人工智能已经可以作画，也可以写诗。这种情况下，人工智能的地位应该是怎么样，究竟是一个人，还是一个工具，抑或是一个机器奴隶，就变得很重要。如果我们认定人工智能也是一个和人一样的主体，那就应该让其独立享有对应的权利、承担对应的责任；反之，则不能赋予其对应权责。
个人认为，关于这一问题，还是应该放在具体的环境下来进行具体的看待，要看在具体的情况下，究竟是人还是机器做了最终的决策。例如，现在算法合谋的问题引起了很多人的重视，但其实算法合谋这个名词只是一个大框，里面包括信使合谋（合谋各方用算法来传递信息）、轴幅合谋（算法作为一个协调者，帮助各方进行合谋，就好像车辐围着车轴一样）、预测者合谋（各方未必有主观合谋意愿，但都使用了同一种算法，算法所指引的最优行为都一致）、自主机器合谋（各方各自开发算法，算法可以不同，但只要给出的目标相同，它们所指引的最优行为也会类似，从而产生合谋效果）等好多类。虽然这几类合谋都用到了人工智能，但其实在信使合谋和轴幅合谋里，人工智能只是被用来作为合谋的工具，因此在这种情况下它们当然不应该被视为是主体。而在后面的两种合谋里，人工智能本身就是做决策的，因此它们在一定意义上就可以被视为是主体。
第二点是人工智能的责任问题。我想，这个问题要分为两个层次来思考：
第一个层次是和主体问题对应的。正如前面指出的，在很多时候，人工智能扮演的只是一个工具的角色，自己并不进行决策，因此它当然不应该承担相应的责任。这就好像，无论是人用刀杀人，或者用刀切菜，要负责的都是人，而不是刀一样。明白了这点，我们其实可以把很多看似与人工智能相关的责任问题刨除掉，因为他们其实是人的问题。
第二个层次是，当人工智能是一种决策主体时，它应该对于某个结果负有怎样的责任。当然，我们这里说人工智能负责，只是一个简化的说法。事实上，它当然无法自己为自己的行为负责，而是作为一种产品，让生产它的人负责。
那么，在机器做出一种行为时，它（确切说是它的生产者）要为其负多大的责任呢？例如，如果人工智能对人造成了伤害，它要承担什么责任？我想，这个答案是动态的，在各个时代、各种情况下答案不同，我们在思考这个问题时，应该用成本收益分析的思路去思考。法律经济学上有个经典的例子：在铁路普及前后，美国的侵权法发生了很大的改变。在这之前，交通工具在遇到行人时，是需要让行人先通过的，否则如果发生了交通事故，责任都要由交通工具的使用者承担。而在铁路普及后，这个规则就发生了很大的变化，行人被要求让火车，如果行人不遵守这个规则，那么他就需要承担自己行为的后果。
为什么会有这个变化呢？原因是如果还墨守成规，那么铁路在运营中就需要时刻注意避让行人，效率就很低。而在规则改变后，整个社会运行的效率就提升了。我想，在考虑人工智能应该承担多大责任时，我们也应该采用类似的观念，用成本收益的思路去思考问题，而不应该简单套用一些老的原则。
第三点是对人工智能，或者说对算法的监管。我参加过不少关于人工智能的会，里面谈到对算法的监管，思路都大同小异，例如几乎所有人都主张算法要透明，算法要共享。
对于这一点，我是持保留态度的。事实上，在我个人看来，通过算法透明去监管算法的做法其实既不科学，也无道理。一方面，现在的算法都很难读懂，不要说大多数主张透明的学者看不懂，即使一些专业的程序员也要花上很长时间才能看明白。在这种情况下，即使我们不说通过透明去监管算法是不可能的，它至少也是不经济的。另一方面，现在的算法已经是各个企业的核心竞争力，你贸然要求它透明，就是对别人知识产权的不尊重，是没有道理的。
那么，难道我们就对算法没有办法了吗？当然不是！但其中的思路一定要变。在经济学上，规制理论有新旧之分。旧规制理论假设规制要在完全信息下进行，主张对行为进行直接干预，但新规制理论则强调不完全信息，主张通过构建相应的约束条件去引导人们的行为。打个比方，如果你要让人帮你好好换一个灯泡，一种思路是，你在一边仔细盯着，然后看他哪个动作不对就马上纠正。这就是旧规制主义的思路，显然，它的成本很高，而且不一定能把事情办好。另一种思路呢，则是进行机制设计，让安灯泡的人自觉努力工作。例如，你告诉换灯泡的人，“你若安好，便是晴天；你若安不好，我就打死你”。你放心，只要那个安灯泡的人答应了给你换灯泡，那么他一定会尽他的努力来做好，因为他会害怕可能的惩罚。从这个意义上讲，这时安灯泡的人和你的目标是一致的，或者说，他的目标是和你的目标激励相容的。
在我看来，监管算法在很大程度上类似于换灯泡。你不知道人是怎么思考的，但你通过构建合理的激励合约，就可以引导它努力工作；同样，你也可以不知道机器是怎么思考的，但也可以通过构建合理的激励合约，将它们的行为引向正确的方向。从某种意义上讲，其实人的思维从本质上也是一种算法，但这种算法要远比机器的算法更复杂、更随机，而相比之下，机器算法事实上更类似于经济学理论中假设的“理性人”。既然新规制理论的方法对人都能管用，那么它对机器也可能会管用！
总结一下，我想表达的意见是三点：一，根据是否进行决策来判定是否是主体；二是根据成本收益来划分责任；三是用新规制理论和机制设计的思想来对算法进行监管。一点浅见，希望对大家有用。
（文章仅代表个人观点。责编邮箱：yanguihua@jiemian.com）
人工智能时代的社会责任思考
人类即将要进入的人工智能时代是一个什么样的生活场景呢？
简单地讲，人工智能将会成为我们日常生活不可或缺的一部分。人工智能就像互联网、就像水和电一样渗透到生活和工作的每一个方面。当然也要渗透到社会责任工作的每个方面。据有关专家研究，人工智能将会使社会责任履行变得更加容易和高效，比如区块链技术跟供应链结合起来就会让供应链社会责任履行变得更加透明，并且履责的行为和绩效将被记录并不可更改。
在带来巨大好处的时候，这也会存在潜在的风险和不利影响。而且这种潜在的风险和不利影响，如果不加以管理，可能完全超出我们的想象。如刚刚离世的著名学者史蒂芬•霍金曾说：“人工智能的崛起可能是人类文明的终结”。这说明人工智能的发展对我们人类的影响将会非同一般。人工智能的影响究竟几何？有的专家认为人工智能的发展要么让人类永生，要么让人类灭亡。可以说，人类每一次技术的飞跃，都会带来人类的大发展，同时也给人类自身带来巨大的风险和问题。这也说明要重视人工智能影响的管理，将成为摆在社会责任业界的新课题。
人工智能发展的三阶段
从技术发展层面来讲，人工智能发展一般可分为弱人工智能、通用人工智能和超级人工智能三个阶段。弱人工智能还无法达到人类的智力水平，即人工智能在人类的控制下在特定领域使用，解决特定问题。但弱人工智能同样影响巨大。比如人工智能在工业上大规模使用，将会导致工作岗位被机器人取代。如果像有的专家预测的那样，将来95%的工作岗位都会被人工智能取代。如果大部分人在大部分时间都没有工作，这个社会是一个怎样的状态，显然我们自己还没准备好。再如，在军事化用途上，将人工智能用于生产更高效的无人机杀人武器，追求的是不再需要人来指出攻击目标即可自动判定目标并执行攻击。
在通用人工智能阶段，人工智能将从狭窄的、特定领域的智能迈向更通用的智能，这个时候这些机器能在没有编码特定领域知识的情况下解决不同种类的问题，甚至能像人一样做出判断和决策。比如，谷歌Alphabet旗下的子公司DeepMind开发的AlphabetZero作为围棋弈者从零开始，面对的只是一张空白棋盘和游戏规则，通过自学使自己的游戏技能得以提高，而不是通过输入人类的对弈棋谱来训练自己。这代表着人类在建造真正智能化机器方面向前迈进了一步，因为即使在没有大量训练数据的情况下，机器也能根据规则和目的需要找出解决困难问题的方法。这在某种程度上似乎具备了所谓的“自觉意识”。有的专家认为，即使没有像人一样的自觉意识，但人类也面临将这个世界的管理权让渡给人工智能。随着人工智能的进化，他们终将认识到人类是这个世界的负担，最后理性的结果或许是清除行尸走肉的人类。一份最近的专家调查显示，可能是2040-2050年左右，有50%的概率实现人类水平的通用智能。
从技术发展的终极层面来讲，如果人的思维也是从无思维的物质开始生成的，人的意识又是从思维开始的，那么从纯理论上来讲，人工智能零部件也是无思维的物质，而这些无思维的物质最终也可能会像人一样有思维，进而也可能会像人一样具有自我意识。从而最终可能成为像人一样的一个智能物种。这就是所谓的超级人工智能时代。这个时候人类面临的挑战就更加不可预测了。因为有的专家预计，这种超级的人工智能有可能反叛人类，而跟人类来竞争、来较劲，甚至发生超级智能和人类之间的战争。这种超级智能甚至能思考人类存在于地球的必要性和合理性。
综上所述，无论是弱人工智能，还是通用智能以及超级人工智能，其潜在的风险巨大。作为发展这种人工智能主体的人来讲有责任管理好潜在风险和负面影响。在弱人工智能阶段，人工智能的各相关方是责任主体。这样看来，涉及到人工智能的各个相关方的社会责任问题。人工智能研发者、相关产品和服务的生产者、销售和服务者，也包括使用者以及政府监管部门等各相关方都肩负着重要的社会责任，防范人工智能的风险和负面作用。
应遵循的九项原则
首先，要遵循有益于人类的原则。树立人工智能要服务于人们美好生活的理念和意识。也就是人工智能的研究与开发要着眼于有益的智能方向去做。
第二，研发人工智能要遵循透明度原则。特别是研究的目的、目标和功能要向相关方和社会公开公布，以便接受社会责任监督，防止人工智能的研发走偏方向。
第三，利益相关方原则。要加强相关方之间的交流和信任，尊重回应利益相关方的利益和所求。比如研发者与政策制定部门要加强交流，适时出台相关的政策和要求，对人工智能的研发加以引导和规范；在利用大数据时要尊重相关方的合法权益和隐私，还要做到责权利相匹配。
第四，担责原则。人工智能的研发和生产者是人工智能的权益人，更重要的是其责任人，对人工智能的滥用要承担责任。确保人工智能的质量，一是要避免明显的安全缺陷；二是发生人工智能故障或者损害时，应当可以查明原因。这样一方面防止意外发生，另一方面，也能促进业界共享，防止类似的错误或者损害发生。
第五，道德伦理原则。人工智能的开发者要赋予人工智能以与人类相同的价值观。这样人工智能的目的和行为是在可以控制的范围。
第六，审慎原则。对于在要开发的人工智能的潜在风险和负面影响不能有效评估的情况下，要采取谨慎的态度，不能冒昧地推进。
第七，尊重人权的原则。人工智能的设计和运作应尊重人权，要符合人类尊严，权利，自由和文化多样性的理念。
第八，共享的原则。人工智能技术应该尽可能地使更多人受益，要尽量让更多人更广泛的共享，造福全人类。
第九，双主体责任原则。在通用人工智能以及超级人工智能阶段，除了人工智能相关方承担相应的社会责任外，人工智能系统本身作为一个智能体也应作为责任主体加以规范。