《新一代人工智能伦理规范》发布
9月25日，国家新一代人工智能治理专业委员会发布了《新一代人工智能伦理规范》(以下简称《伦理规范》)，旨在将伦理道德融入人工智能全生命周期，为从事人工智能相关活动的自然人、法人和其他相关机构等提供伦理指引。
《伦理规范》经过专题调研、集中起草、意见征询等环节，充分考虑当前社会各界有关隐私、偏见、歧视、公平等伦理关切，包括总则、特定活动伦理规范和组织实施等内容。《伦理规范》提出了增进人类福祉、促进公平公正、保护隐私安全、确保可控可信、强化责任担当、提升伦理素养等6项基本伦理要求。同时，提出人工智能管理、研发、供应、使用等特定活动的18项具体伦理要求。《伦理规范》全文如下：
新一代人工智能伦理规范为深入贯彻《新一代人工智能发展规划》，细化落实《新一代人工智能治理原则》，增强全社会的人工智能伦理意识与行为自觉，积极引导负责任的人工智能研发与应用活动，促进人工智能健康发展，制定本规范。
第一章 总则
第一条 本规范旨在将伦理道德融入人工智能全生命周期，促进公平、公正、和谐、安全，避免偏见、歧视、隐私和信息泄露等问题。
第二条 本规范适用于从事人工智能管理、研发、供应、使用等相关活动的自然人、法人和其他相关机构等。（一）管理活动主要指人工智能相关的战略规划、政策法规和技术标准制定实施，资源配置以及监督审查等。（二）研发活动主要指人工智能相关的科学研究、技术开发、产品研制等。（三）供应活动主要指人工智能产品与服务相关的生产、运营、销售等。（四）使用活动主要指人工智能产品与服务相关的采购、消费、操作等。
第三条 人工智能各类活动应遵循以下基本伦理规范。（一）增进人类福祉。坚持以人为本，遵循人类共同价值观，尊重人权和人类根本利益诉求，遵守国家或地区伦理道德。坚持公共利益优先，促进人机和谐友好，改善民生，增强获得感幸福感，推动经济、社会及生态可持续发展，共建人类命运共同体。（二）促进公平公正。坚持普惠性和包容性，切实保护各相关主体合法权益，推动全社会公平共享人工智能带来的益处，促进社会公平正义和机会均等。在提供人工智能产品和服务时，应充分尊重和帮助弱势群体、特殊群体，并根据需要提供相应替代方案。（三）保护隐私安全。充分尊重个人信息知情、同意等权利，依照合法、正当、必要和诚信原则处理个人信息，保障个人隐私与数据安全，不得损害个人合法数据权益，不得以窃取、篡改、泄露等方式非法收集利用个人信息，不得侵害个人隐私权。（四）确保可控可信。保障人类拥有充分自主决策权，有权选择是否接受人工智能提供的服务，有权随时退出与人工智能的交互，有权随时中止人工智能系统的运行，确保人工智能始终处于人类控制之下。（五）强化责任担当。坚持人类是最终责任主体，明确利益相关者的责任，全面增强责任意识，在人工智能全生命周期各环节自省自律，建立人工智能问责机制，不回避责任审查，不逃避应负责任。（六）提升伦理素养。积极学习和普及人工智能伦理知识，客观认识伦理问题，不低估不夸大伦理风险。主动开展或参与人工智能伦理问题讨论，深入推动人工智能伦理治理实践，提升应对能力。
第四条 人工智能特定活动应遵守的伦理规范包括管理规范、研发规范、供应规范和使用规范。
第二章 管理规范
第五条 推动敏捷治理。尊重人工智能发展规律，充分认识人工智能的潜力与局限，持续优化治理机制和方式，在战略决策、制度建设、资源配置过程中，不脱离实际、不急功近利，有序推动人工智能健康和可持续发展。
第六条 积极实践示范。遵守人工智能相关法规、政策和标准，主动将人工智能伦理道德融入管理全过程，率先成为人工智能伦理治理的实践者和推动者，及时总结推广人工智能治理经验，积极回应社会对人工智能的伦理关切。
第七条 正确行权用权。明确人工智能相关管理活动的职责和权力边界，规范权力运行条件和程序。充分尊重并保障相关主体的隐私、自由、尊严、安全等权利及其他合法权益，禁止权力不当行使对自然人、法人和其他组织合法权益造成侵害。
第八条 加强风险防范。增强底线思维和风险意识，加强人工智能发展的潜在风险研判，及时开展系统的风险监测和评估，建立有效的风险预警机制，提升人工智能伦理风险管控和处置能力。
第九条 促进包容开放。充分重视人工智能各利益相关主体的权益与诉求，鼓励应用多样化的人工智能技术解决经济社会发展实际问题，鼓励跨学科、跨领域、跨地区、跨国界的交流与合作，推动形成具有广泛共识的人工智能治理框架和标准规范。
第三章 研发规范
第十条 强化自律意识。加强人工智能研发相关活动的自我约束，主动将人工智能伦理道德融入技术研发各环节，自觉开展自我审查，加强自我管理，不从事违背伦理道德的人工智能研发。
第十一条 提升数据质量。在数据收集、存储、使用、加工、传输、提供、公开等环节，严格遵守数据相关法律、标准与规范，提升数据的完整性、及时性、一致性、规范性和准确性等。
第十二条 增强安全透明。在算法设计、实现、应用等环节，提升透明性、可解释性、可理解性、可靠性、可控性，增强人工智能系统的韧性、自适应性和抗干扰能力，逐步实现可验证、可审核、可监督、可追溯、可预测、可信赖。
第十三条 避免偏见歧视。在数据采集和算法开发中，加强伦理审查，充分考虑差异化诉求，避免可能存在的数据与算法偏见，努力实现人工智能系统的普惠性、公平性和非歧视性。
第四章 供应规范
第十四条 尊重市场规则。严格遵守市场准入、竞争、交易等活动的各种规章制度，积极维护市场秩序，营造有利于人工智能发展的市场环境，不得以数据垄断、平台垄断等破坏市场有序竞争，禁止以任何手段侵犯其他主体的知识产权。
第十五条 加强质量管控。强化人工智能产品与服务的质量监测和使用评估，避免因设计和产品缺陷等问题导致的人身安全、财产安全、用户隐私等侵害，不得经营、销售或提供不符合质量标准的产品与服务。
第十六条 保障用户权益。在产品与服务中使用人工智能技术应明确告知用户，应标识人工智能产品与服务的功能与局限，保障用户知情、同意等权利。为用户选择使用或退出人工智能模式提供简便易懂的解决方案，不得为用户平等使用人工智能设置障碍。
第十七条 强化应急保障。研究制定应急机制和损失补偿方案或措施，及时监测人工智能系统，及时响应和处理用户的反馈信息，及时防范系统性故障，随时准备协助相关主体依法依规对人工智能系统进行干预，减少损失，规避风险。
第五章 使用规范
第十八条 提倡善意使用。加强人工智能产品与服务使用前的论证和评估，充分了解人工智能产品与服务带来的益处，充分考虑各利益相关主体的合法权益，更好促进经济繁荣、社会进步和可持续发展。
第十九条 避免误用滥用。充分了解人工智能产品与服务的适用范围和负面影响，切实尊重相关主体不使用人工智能产品或服务的权利，避免不当使用和滥用人工智能产品与服务，避免非故意造成对他人合法权益的损害。
第二十条 禁止违规恶用。禁止使用不符合法律法规、伦理道德和标准规范的人工智能产品与服务，禁止使用人工智能产品与服务从事不法活动，严禁危害国家安全、公共安全和生产安全，严禁损害社会公共利益等。
第二十一条 及时主动反馈。积极参与人工智能伦理治理实践，对使用人工智能产品与服务过程中发现的技术安全漏洞、政策法规真空、监管滞后等问题，应及时向相关主体反馈，并协助解决。
第二十二条 提高使用能力。积极学习人工智能相关知识，主动掌握人工智能产品与服务的运营、维护、应急处置等各使用环节所需技能，确保人工智能产品与服务安全使用和高效利用。
第六章 组织实施
第二十三条 本规范由国家新一代人工智能治理专业委员会发布，并负责解释和指导实施。
第二十四条 各级管理部门、企业、高校、科研院所、协会学会和其他相关机构可依据本规范，结合实际需求，制订更为具体的伦理规范和相关措施。
第二十五条 本规范自公布之日起施行，并根据经济社会发展需求和人工智能发展情况适时修订。
国家新一代人工智能治理专业委员会
2021年9月25日
【关注】人工智能的侵权责任与归责机制
人工智能侵权的特殊性
人工智能侵权构成要素复杂。现阶段人工智能的技术框架主要是以机器学习和深度学习为中心构建的。从软件层面，人工智能系统作出的判断、决策等行为，实际上是对人工智能模型输入一定数据而得到的函数输出结果，其基本模型可以用“输出=人工智能模型（基础算法+训练材料）+输入”表示。侵权的输出结果实际受到基础算法、训练材料和输入行为三个要素的影响，这三个要素可能独立导致侵权结果，也可能相互作用累积引起侵权，这使得具体侵权案件的归责难度加大。特别是，现有的司法人员普遍没有接受过人工智能技术相关培训，而技术人员少有精通法律的，对人工智能侵权的事实认定和法律认定都非常困难。
使用人或管理人通常没有主观过错。侵权案件中，通常是侵权人的违法行为造成了损害事实，违法行为与损害事实之间具有因果关系，且行为人对违法行为具有主观过错。但人工智能侵权，使用人或管理人通常不具有侵权的故意或者过失，侵权行为和损害事实是人工智能程序自主判断、决策的结果。以完全自动驾驶汽车为例，使用人下达给车辆行驶的命令，途中使用人并不参与车辆的转弯、减速、超车、避让等各类行驶决策。在车辆自动行驶的过程中，如果发生侵权事故，尽管使用人最初下达的行驶命令与侵权事实也有一定的关系，但二者之间的因果关系太弱，使用人使用车辆的意志并不包含任何侵权意图，此时归责于使用人，则会给使用人施加过重的事故防范义务，既不符合公平原则，也不利于人工智能推广应用。
人工智能具有一定的自主性。由于难以归责于使用人，人工智能侵权主要应当是由产品本身问题引起的，因此应当在产品责任视角下讨论。一般产品侵权是由于存在缺陷而造成他人损害，所谓缺陷是指产品存在危及人身、他人财产安全的不合理的危险，通常在生产阶段按照相应的产品标准或质量要求应当能够发现这种缺陷。但人工智能产品与一般产品不同，人工智能虽然尚不具有类似人类的意志，但具有一定的自主性，具有学习能力，引起侵权事故的原因既可能是设计生产阶段已经存在的缺陷，也可能是人工智能自主学习后产生的“危险”。而因人工智能学习引起的危险是否属于“缺陷”，在目前法律规定中尚不明确。
人工智能侵权责任主体与归责机制
生产和设计者是人工智能侵权责任主体。目前人工智能还处于高级函数的阶段，不具备侵权的主观意志，也不具有承担侵权责任的能力。应当说，人工智能侵权还是表象，本质上仍然是有安全注意义务的人由于故意或过失没有履行相应义务，而导致人工智能侵权危险的发生。对人工智能侵权负有安全注意义务的，应当是有能力知晓人工智能工作机理并控制人工智能行为的人。一般情况下，应该是人工智能的生产者和设计者。由于人工智能构成的复杂性，产品的瑕疵或缺陷是发生在算法设计、调试阶段，还是发生在机器学习训练、测试生产阶段，又会决定该侵权危险归责于设计者或生产者。在人工智能时代，设计者和生产者常常是分离的，所以这是两类不同的侵权主体。
严格适用产品责任免责事由。人工智能侵权主要是适用产品责任，《中华人民共和国侵权责任法》和《中华人民共和国产品质量法》规定了生产者的三类免责事由：（一）未将产品投入流通的；（二）产品投入流通时，引起损害的缺陷尚不存在的；（三）将产品投入流通时的科学技术水平尚不能发现缺陷的存在的。由于大量人工智能产品属于技术前沿成果，人工智能算法或程序中确实存在一些生产者（设计者）无法预见的瑕疵或缺陷，因此这三类免责事由仍有适用空间。一方面应宽容创新，对于开发者能够证明已尽力避免，而当时认知和技术水平确实无法发现的缺陷风险，应当免除开发者的责任；另一方面应严格适用免责事由，严格规范开发者涉及人身、财产安全的人工智能程序开发行为，强化开发者安全注意义务，预防人工智能侵权风险发生和累积。
建立人工智能责任机制。一是逐步建设人工智能产品标准，使开发者明确其开发产品需要满足的保障人体健康和人身、财产安全的国家标准或行业标准，避免出现缺陷产品。引导行业建设人工智能开发者安全注意义务准则，加强行业自律规范。二是建立人工智能缺陷产品召回机制，建立算法变化节点时间表机制。对发现缺陷后的产品应及时召回或停止提供服务，并评估人工智能算法的变化节点，排查变化原因，明确引起变化并导致侵权的责任主体。三是探索类似交强险的人工智能责任险。由于人工智能可能存在无法归责于使用者，也不宜归责于生产设计者的侵权风险，可以设立人工智能责任险，及时为被侵权人提供救济，分担开发者风险，保障行业健康发展。返回搜狐，查看更多
如果医学人工智能犯了错，责任谁担WHO公布指南
原创界弟医学界
AI和医生发生“同行分歧”时，怎么办？
撰文|韦晓宁
6月28日，世界卫生组织（WHO）发布指南《医疗卫生中AI使用的伦理和管治》。这份指南有160余页，阐述了AI在医疗领域中的应用、适用的法律和政策、关键的伦理原则和相应的伦理挑战、责任机制和治理框架等，共九章。
WHO表示，这是医疗AI领域首份根据道德规范和人权标准制定的综合国际指南。
指南由WHO数字卫生和卫生创新与研究团队领导完成，用时两年。同时，WHO与20人专家领导小组合作，确定6项核心原则，以提高在医疗卫生领域使用AI伦理水平。这也是该领域的第一批共识原则。
六项核心原则为：
1.保护自治权
2.促进人类福祉、人类安全和公共利益
3.确保透明度、可解释性和可理解性
4.培养责任感和问责制
5.确保包容和公平
6.促进具有响应性和可持续性的AI发展
WHO指出，将AI技术用于医疗卫生有着巨大的前景，将应用于医疗护理、卫生研究和药物开发、卫生系统管理和规划、公共卫生及其监测四个方面。综合指南内容，“医学界”整理了部分在医疗领域使用AI可能会出现的伦理问题及其应对措施。
AI会不会导致医护人员失业？
“如果我们做对的话，30年以后应该是医生找不到工作了，医院越来越少了，药厂少了很多。”2014年11月的世界互联网大会上，阿里巴巴时任董事局主席马云宣布，健康将会成为阿里未来的两大产业之一。
在此次发布的指南《医疗卫生中AI使用的伦理和管治》中，WHO多次提到美国的谷歌、脸书和亚马逊，以及中国的腾讯、阿里巴巴、百度等互联网技术公司。相关中国平台向用户提供在线医疗信息等，惠及中国数百万人。
阐述AI在临床护理中使用的趋势时，WHO以中国为例，“在中国，远程医疗提供者数量在新冠肺炎大流行期间增加了近4倍。”这能够改善医疗资源紧张、医护人员不足的现状。同时，慢性疾病等类型的患者，也能够借助AI更好地进行自我管理，降低对医护人力资源的需求。
将来，会不会如马云所说，医生将找不到工作？《医疗卫生中AI使用的伦理和管治》中，乐观的观点是，AI将减轻临床医生的日常工作负担，让他们与患者相处的时间更多，并专注于更具挑战性的工作；医护人员将履行其他角色，如标记数据或设计和评估AI技术等，因此不会失业。
悲观的观点：AI将实现医护人员许多工作和任务的自动化。大量工作使用AI将导致短期内的不稳定，即使创造新工作岗位、增加总体就业，某些领域的许多工作岗位也都会流失，那些无法胜任新岗位的人将会失业。
应对措施：
几乎所有的医疗卫生工作都要求最低水平的数字和技术熟练程度。有研究指出，在20年内，英国国家医疗服务体系（NHS）90%的工作都需要数字技能。医生必须提高自己这方面的能力，同时更多地与患者沟通使用AI的风险，做出预测、讨论权衡，包括使用AI技术的道德和法律风险。
还需要注意的是，对AI系统的依赖可能会削弱人类的独立判断能力。在最坏的情况下，如果AI系统失灵或受损，医护人员和患者可能无法采取行动。所以，应制定强有力的计划，在技术系统出现故障或被破坏时提供支持。
实际上，许多高、中、低收入国家目前都面临卫生工作者短缺的问题，WHO估计，到2030年，将有1800万卫生工作者短缺，主要集中在中低收入国家。并且，关于患者的临床经验和知识至关重要。因此在可预见的未来，AI不会取代临床医生的职责。
AI和医生发生“同行分歧”怎么办？
医生自主权如何保证？
在医疗护理方面，诊断中，AI在放射学和医学成像领域应用较为广泛，但仍相对新颖，尚未常规应用于临床决策。目前，AI正在评估用于诊断肿瘤、眼科和肺部疾病，并可能通过成像、超声心动图等，实现卒中、肺炎、宫颈癌等疾病的及时检测；可能用于预测心血管疾病、糖尿病等疾病或重大健康事件的发生。临床护理中，AI能预测一些疾病进展和耐药性。
在临床护理的某些方面，AI取代人类的判断是有好处的：与机器相比，人类可能做出更不公平、更有偏见、更糟糕的决定。当机器能够更快速、准确、灵敏地执行决策时，将决策交给人类，可能意味着一些患者会遭受可避免的发病和死亡。
目前，在医疗卫生领域，决策权尚未完全从人转移到机器。矛盾的是，在AI和医生出现“同行分歧”的情况下，如果医生忽略机器，AI就没有什么价值；如果医生选择完全接受AI的决定，这可能会削弱其权威和责任。
比“同行分歧”更甚的情况可能正在出现：AI系统正在取代人类成为认知权威，常规医疗职能可能会完全交给AI。如果不采取适当措施，这将破坏人类的自主权，人类可能既不能够明白AI是如何决定的，也不能够与AI谈判，以达成协商的决定。
应对措施：
在医疗AI化的背景下，自主意味着人类应该继续完全控制医疗卫生系统和医疗决策。在实践中，应该能够决定是否将AI系统用于特定的医疗决策，以及在适当时对决策进行排序。这能确保临床医生可以推翻AI系统做出的决定，使其“本质上可逆”。
另外，AI应该是透明的和可解释的。医疗卫生机构、卫生系统和公共卫生机构应定期公布使用一些AI技术的原因，以及定期评估AI的信息，避免连开发者都无法理解的“算法黑箱”出现。
使用AI犯了错，谁来担责？
据《日本经济新闻》2018年7月报道，日本政府将完善关于AI医疗设备的一系列规则，规定诊断的最终责任由医生承担：由于AI存在误诊的可能，因此把AI医疗设备定位为辅助设备，基于《医师法》规定“作出最终诊断和决定治疗方针的责任由医生承担”。通过明确这样的责任范围，鼓励厂商进行AI医疗设备的开发。
新闻传出时引起巨大争议。此次WHO发布的指南指出，从整体上看，如果基础数据既准确又具有代表性，AI可能会降低误诊率。然而当误诊发生时，由医生承担责任是否合理？
WHO的答案是否定的。首先，临床医生不会控制AI技术。其次，由于AI技术往往不透明，医生可能不理解AI系统如何将数据转换为决策。第三，使用AI技术，或是因为医院系统或其他外部决策者的偏好，而非临床医生的选择。
指南指出，AI技术的某些特征影响了责任和问责概念，可能会造成“责任缺口”的问题：因为AI会进行自我发展，并非每一步都是人为设定，开发人员和设计师会宣称自己不对其负责任，这样就把伤害患者的风险全都加在离AI更近的医护工作者身上，而这是不合理的。
第二个挑战是危害的“可追溯性”，这也长期困扰着医疗决策系统。由于AI的发展涉及到许多部门的贡献，从法律和道德上都很难分配责任。并且，伦理指南常常由技术公司发布，缺乏权威或具有法律约束力的国际标准；监督企业是否遵守自己的指导方针往往是在内部进行的，几乎没有透明度，也没有第三方执行，不具有法律效力。
应对措施：
如果临床医生在使用AI技术时犯了错误，应该检视他们的医疗培训中是否有人需要承担责任。如果有一个错误的算法或数据用于训练AI技术，责任可能落到开发或测试AI技术的人身上。不过，临床医生不应该完全免除责任。他们不能简单地在机器建议上盖章，忽视自己的专业知识和判断。
当AI技术的医疗决定伤害个人时，问责程序应明确制造商和临床医生的相对作用。将责任分配给开发人员，可以鼓励他们尽量减少对患者的伤害。其他生产商，包括药品和疫苗生产商、医疗器械公司和医疗设备制造商，也需要明确自己的责任。
当决定在整个医疗系统中使用AI技术时，开发人员、机构和医生可能都在医疗伤害中发挥了作用，但没有一个人是“全责”。在这种情况下，责任可能不是由技术的提供者或开发人员承担，而是由选择、验证和部署该技术的政府机构承担。
在指南中，WHO还提及了公众隐私、商业技术公司的责任、算法分配的偏见和误差、机器排放二氧化碳所导致的气候变化等伦理问题。WHO呼吁建立医疗AI治理的框架，在数据治理、私营和公共部门治理、政策观察和示范立法、全球治理等方面提出了建议。
“我们的未来，是一场‘不断增长的技术力量’以及‘我们使用它的智慧’之间的竞赛。”指南中，其首席科学家苏米亚·斯瓦米纳坦博士引用了一句史蒂芬·霍金的话。
资料来源：
1.Ethicsandgovernanceofartificialintelligenceforhealth:WHOguidance.Geneva:WorldHealthOrganization;2021.Licence:CCBY-NC-SA3.0IGO.
2.支付宝可挂号还能对医生好差评，一场大颠覆即将席卷而来https://www.sohu.com/a/150369692_119659
3.AI犯了错医生来担责日本将制定AI医疗规则_健康界https://www.cn-healthcare.com/article/20180703/content-505291.html
来源：医学界
原标题：《如果医学人工智能犯了错，责任谁担？WHO公布指南》
阅读原文
人工智能的伦理问题与治理原则
第一类问题来自我们对人工智能系统对其决策结果的伦理意义缺乏判断的忧虑。人工智能往往被用来解决一个具体问题，而且只能通过已有的有限数据来作出决策，往往无法像人一样理解更广的社会和伦理语境。故此，我们对人工智能缺乏对决策后果的伦理意义的认知有恐惧，这是完全可以理解的。当人工智能决策的后果涉及一个结果和另外一个结果之间的比较时，往往造成难以预料的后果。例如，人可能给人工智能系统一个获取食物的指令，结果这个系统却杀死了人的宠物。这是因为人工智能对某个结果的伦理意义无法完全理解，以致于错误地执行了指令。我们对人工智能对决策结果的伦理判断能力不足的忧虑，在人工智能技术本身缺乏透明度（黑箱问题）时就更加严重了。人工智能采纳的机器学习往往因为算法（例如机器学习）和算力限制的原因，无法回溯机器作出决定的具体机制。无法回溯会带来我们在事先预测后果和事后作出纠正的能力的局限，导致我们在决定是否应用人工智能技术的问题上踌躇不决。
第二类问题来自我们对人工智能的潜力的忧虑。人工智能可能成为人类全部决定的参与和影响者，但我们尚且不知道没有任何已知的伦理准则能指引上述行为。人类创造的“上帝”无力护理这个世界，这让我们恐惧震惊。我们担心随着人工智能的发展，它会导致已有的社会问题进一步恶化，同时可能带来新的社会问题。
从上述前提出发，笔者从目的、手段两个层面提出思考人工智能伦理（嵌入机器的伦理）的两个基本方向：技术必须促进人类的善（体现在人的根本利益原则）；在越来越发达的机器的自主性背景下确认人的主体性（体现在责任原则）。换言之，认识到新的技术本身的特征和它的潜在社会影响，我们看到人工智能伦理要强调：（1）人可以利用人工智能得到更大的能力（行善/伤害），因此有更大的责任，所以应当更加强调归责性；（2）人工智能则必须服从人类设定的伦理规则。这也是《人工智能标准化白皮书（2018）》中提出了人工智能设计和应用中应遵循的两个基本原则的基本依据。违反人的根本利益原则的人工智能，无论是用来欺诈顾客的营销算法、用于司法造成歧视部分公民的司法决策系统，还是对个人信息的过度收集和滥用，都违反人工智能伦理原则。
根据人工智能伦理风险的具体性质与特征，可从算法、数据和应用三个方面度来梳理人工智能的风险。对伦理风险的治理，需要立法和政策明确各相关主体的责任，包括信息提供者、信息处理者和系统协调者。此外，人工智能还可能对社会产生远期发展的风险，如对既有的就业、市场竞争秩序、产权等法律制度的挑战，甚至生产方式的根本变革，这些我们将其归入长期和间接的伦理风险之中。
算法方面
算法方面的风险主要包括算法安全问题、算法可解释性问题、算法歧视问题和算法决策困境问题。算法安全问题产生于算法漏洞被黑客攻击和恶意利用的挑战，同时算法从设计、训练到使用中面临可信赖性问题和算法随时可用对可靠性带来挑战。
算法可解释性涉及人类的知情利益和主体地位，对人工智能的长远发展意义重大。国务院颁布《新一代人工智能发展规划》，同时，潘云鹤院士提到人工智能应用的一个需要关注的问题是算法的不可解释性。算法可解释性问题在国外也引起媒体和公众的关注。例如，电气和电子工程师协会（IEEE）在2016年和2017年连续推出的《人工智能设计的伦理准则》白皮书，在多个部分都提出了对人工智能和自动化系统应有解释能力的要求。美国计算机协会美国公共政策委员会在2017年年初发布了《算法透明性和可问责性声明》，提出了七项基本原则，其中一项即为“解释”，希望鼓励使用算法决策的系统和机构，对算法的过程和特定的决策提供解释。2017年，美国加州大学伯克利分校发布了《对人工智能系统挑战的伯克利观点》，从人工智能的发展趋势出发，总结了九项挑战和研究方向。其中之一，即第三项，就是要发展可解释的决策，使人们可以识别人工智能算法输入的哪些特性引起了某个特定的输出结果。
与可解释性问题常常同时出现的是算法歧视问题，即在看似中立的算法中，由于算法的设计者的认知存在某种偏见，或者训练算法使用了有问题的数据集等原因，带来了人工智能系统决策出现带有歧视性的结果。这类例子媒体时有报道，例如在金融领域“降低弱势群体的信贷得分”、“拒绝向‘有色人种’贷款”、“广告商更倾向于将高息贷款信息向低收入群体展示”等。
算法歧视主要分为“人为造成的歧视”“数据驱动的歧视”与“机器自我学习造成的歧视”三类。人为造成的歧视，是指由于人为原因而使算法将歧视或偏见引入决策过程中。数据驱动造成的歧视，是指由于原始训练数据存在偏见性，而导致算法执行时将歧视带入决策过程中。算法本身不会质疑其所接收到的数据，只是单纯地寻找、挖掘数据背后隐含的模式或者结构。如果数据一开始就存在某种选择上的偏见或喜好，那么算法会获得类似于人类偏见的输出结果。机器自我学习造成的歧视，是指机器在学习的过程中会自我学习到数据的多维不同特征，即便不是人为地赋予数据集某些特征，或者程序员或科学家刻意避免输入一些敏感的数据，但是机器在自我学习的过程中，仍然会学习到输入数据的其它特征，从而将某些偏见引入到决策过程中，这就是机器自我学习造成的歧视。
算法决策困境源于人工智能自学习能力导致的算法结果的不可预见性。为此要减少或杜绝算法决策困境，除了提高算法的可解释性，还可以引入相应的算法终结机制。
数据方面
数据方面的风险主要包括侵犯隐私的风险和个人敏感信息识别与保护的风险。在现代社会，隐私保护是信任和个人自由的根本，同时也是人工智能时代维持文明与尊严的基本方式。人工智能时代下侵犯隐私的风险更大，受害者也更多。
传统法律规范对隐私的保护集中于对个人在私人领域、私人空间活动的保护，以及个人私密的、非公开的信息保护。在个人信息的基础之上，法律规范区分普通个人信息和个人敏感信息。法律通常对个人敏感信息予以更高的保护，例如对个人敏感信息的处理需要基于个人信息主体的明示同意，或重大合法利益或公共利益的需要等，严格限制对个人敏感信息的自动化处理，并要求对其进行加密存储或采取更为严格的访问控制等安全保护措施。个人敏感信息在授权同意范围外扩散，或者个人信息的扩散超出收集、使用个人信息的组织和机构控制范围，以及使用者超出授权使用（如变更处理目的、扩大处理范围等），都可能对个人信息主体权益带来重大风险。
人工智能技术的应用极大地扩展了个人信息收集的场景、范围和数量。图像识别、语音识别、语义理解等人工智能技术实现海量非结构化数据的采集，而人工智能与物联网设备的结合丰富了线下数据采集的场景。例如,家用机器人、智能冰箱、智能音箱等各种智能家居设备走进人们的客厅、卧室，实时地收集人们的生活习惯、消费偏好、语音交互、视频影像等信息；各类智能助手在为用户提供更加便捷服务的同时，也在全方位地获取和分析用户的浏览、搜索、位置、行程、邮件、语音交互等信息；支持面部识别的监控摄像头，可以在公共场合且个人毫不知情的情况下，识别个人身份并实现对个人的持续跟踪。这些都需要法律进一步地规范。
社会方面
与社会相关的伦理问题主要包括算法滥用和误用。算法滥用和误用是指人们利用算法进行分析、决策、协调、组织等一系列活动中，其使用目的、使用方式、使用范围等出现偏差并引发不良影响或不利后果的情况。例如，人脸识别算法能够提高治安水平、加快发现犯罪嫌疑人的速度等，但是如果把人脸识别算法应用于发现潜在犯罪人或者根据脸型判别某人是否存在犯罪潜质，就属于典型的算法滥用。由于人工智能系统的自动化属性，算法滥用将放大算法所产生的错误效果，并不断强化成为一个系统的重要特征。
算法滥用主要由算法设计者出于经济利益或者其他动机的操纵行为、平台和使用者过度依赖算法、将算法的应用盲目拓展到算法设计未曾考虑的领域等。电商平台算法设计者推荐不符合用户利益的产品，或者娱乐平台为了自身的商业利益对用户的娱乐或信息消费行为进行诱导、导致用户沉迷等，都是算法设计者操纵行为的展现。在医疗领域过度依赖人工智能平台的读图诊断，导致误诊，以及在安防领域和犯罪误判导致的问题，都直接关系到公民的人身安全与自由。
应当注意的是，与社会相关的伦理问题有如下特性：其一，它们与个人切身利益密切相关，如算法应用在犯罪评估、信用贷款、雇佣评估等关切人身利益的场合，对个人切身利益的影响广泛。其二，它们带来的问题通常难以短时间应对，例如深度学习是一个典型的“黑箱”算法，如果深度学习为基础建立的模型存在歧视，应对时难以查清原因。其三，在商业应用中出现这类问题时，由于资本的逐利性，公众权益容易受到侵害。
人工智能治理原则与实践
人工智能技术的特质及其伦理挑战，给社会的治理带来了问题。传统上，治理所预设能够遵循规则的主体（Agent），也就是人本身。今天我们认识到人工智能的特征在于其高度的自主性，即其决策不再需要操控者进一步的指令，考虑到这种决策可能会产生人类预料不到的结果，人工智能技术的设计者和应用者必须在人工智能技术研发、应用的各个环节贯彻伦理原则，以实现对人工智能的有效治理。
在传统技术领域，常见的防止损害的方式是在造成伤害之后进行干预。但是，等待人工智能系统造成伤害之时才考虑干预，很多时候为时已晚。一个更好的方法是将即时和持续的伦理风险评估和合规体系建设作为系统运行的一个组成部分，即时和持续评估人工智能系统是否存在伦理风险、并在损害产生之前以及损害不大的时候就通过合规体系进行处理。即时和持续的风险评估对于人工智能系统的保障要比按下“紧急按钮”要有效得多。
故此，我们在讨论人工智能治理应遵循的思路和逻辑时，必须警醒行业自律的有限性和立法的滞后性。如阿西莫夫等科技伦理的思想者所意识到的，必须将伦理在技术层面就进行明确，才能保证治理的有效性。构建人工智能的伦理标准是治理不可或缺的一面。此外，根据法律和政策本身的特征来制定法律、完善政策、设立管制机构，也是治理必须执行的方法。
国内外人工智能治理方面的探索值得我们关注和借鉴。例如，欧盟通过对机器人规制体现了依据人工智能伦理来设计治理体系的前沿探索。美国于2016年出台的战略文件就提出要理解并解决人工智能的伦理、法律和社会影响。英国政府曾在其发布的多份人工智能报告中提出应对人工智能的法律、伦理和社会影响，最为典型的是英国议会于2018年4月发出的长达180页的报告《英国人工智能发展的计划、能力与志向》。
联合国于2017年9月发布《机器人伦理报告》，建议制定国家和国际层面的伦理准则。电气和电子工程师协会（InstituteofElectricalandElectronicsEngineers，IEEE）于2016年启动“关于自主/智能系统伦理的全球倡议”，并开始组织人工智能设计的伦理准则。在未来生命研究所（futureoflifeinstitute，FLI）主持下，近4000名各界专家签署支持23条人工智能基本原则。
我国也在这个方面开展了探索与实践。2017年发布的《新一代人工智能发展规划》提出了中国的人工智能战略，制定促进人工智能发展的法律法规和伦理规范作为重要的保证措施被提了出来。2018年1月18日，在国家人工智能标准化总体组、专家咨询组的成立大会上发布了《人工智能标准化白皮书（2018）》。白皮书论述了人工智能的安全、伦理和隐私问题，认为设定人工智能技术的伦理要求，要依托于社会和公众对人工智能伦理的深入思考和广泛共识，并遵循一些共识原则。
人工智能技术的开发和应用深刻地改变着人类的生活，不可避免地会冲击现有的伦理与社会秩序，引发一系列问题。这些问题可能表现为直观的短期风险，如算法漏洞存在安全隐患、算法偏见导致歧视性政策的制定等，也可能相对间接和长期，如对产权、竞争、就业甚至社会结构的影响。尽管短期风险更具体可感，但长期风险所带来的社会影响更为广泛而深远，同样应予重视。
人工智能技术的日新月异与治理体系相对稳定性之间不可避免地存在矛盾，这需要我们明确应对人工智能的基本原则。在国际范围内比较，人工智能伦理基本原则以2017年1月在阿西洛马召开的“有益的人工智能”（BeneficialAI）会议提出的“阿西洛马人工智能原则”（AsilomarAIPrinciples），以及电气和电子工程师协会（IEEE）组织开展的人工智能伦理标准的工作受到了最多的关注。此前，各国也提出了机器人原则与伦理标准。作者认为，我国人工智能的研究和应用应遵循两个人工智能伦理基本原则，即人的根本利益原则和责任原则。
人的根本利益原则
人的根本利益原则，即人工智能应以实现人的根本利益为终极目标。这一原则体现对人权的尊重、对人类和自然环境利益最大化以及降低技术风险和对社会的负面影响。人的根本利益原则要求：
（1）在对社会的影响方面，人工智能的研发与应用以促进人类向善为目的（AIforgood），这也包括和平利用人工智能及相关技术，避免致命性人工智能武器的军备竞赛。
（2）在人工智能算法方面，人工智能的研发与应用应符合人的尊严，保障人的基本权利与自由；确保算法决策的透明性，确保算法设定避免歧视；推动人工智能的效益在世界范围内公平分配，缩小数字鸿沟。
（3）在数据使用方面，人工智能的研发与应用要关注隐私保护，加强个人数据的控制，防止数据滥用。
责任原则
责任原则，即在人工智能相关的技术开发和应用两方面都建立明确的责任体系，以便在人工智能应用结果导致人类伦理或法律的冲突问题时，人们能够从技术层面对人工智能技术开发人员或设计部门问责，并在人工智能应用层面建立合理的责任体系。在责任原则下，在人工智能技术开发方面应遵循透明度原则；在人工智能技术应用方面则应当遵循权责一致原则。
透明度原则
透明度原则要求人工智能的设计中，保证人类了解自主决策系统的工作原理，从而预测其输出结果，即人类应当知道人工智能如何以及为何做出特定决定。透明度原则的实现有赖于人工智能算法的可解释性（explicability）、可验证性（verifiability）和可预测性（predictability）。
权责一致原则
权责一致原则，是指在人工智能的设计和应用中应当保证问责的实现，这包括：在人工智能的设计和使用中留存相关的算法、数据和决策的准确记录，以便在产生损害结果时能够进行审查并查明责任归属。权责一致原则的实现需要建立人工智能算法的公共审查制度。公共审查能提高相关政府、科研和商业机构采纳的人工智能算法被纠错的可能性。合理的公共审查能够保证一方面必要的商业数据应被合理记录、相应算法应受到监督、商业应用应受到合理审查，另一方面商业主体仍可利用合理的知识产权或者商业秘密来保护本企业的利益。
应当明确，我们所说的人工智能伦理原则，不仅应当由人工智能系统的研发和应用的人类主体遵守（包括在研究机构、行业领域的科技企业和科技工作者），而且这些原则应当嵌入人工智能系统本身。机器如何遵循伦理规则这一点，有人仍有质疑。典型的看法是，伦理规则只是给人的，没有可能给人工智能系统（包括机器人）设定伦理规则。的确，传统上伦理原则所针对的是能够遵循这些原则的主体（Agent）也就是人本身。但是，考虑到人工智能的特征在于机器对人的智能的“模拟、延伸和扩展”，即其决策不需要操控者一步步的指令，同时这种决策可能会产生人类预料不到的结果，人工智能系统也应当受到伦理规则的规制。
结论
社会必须信任人工智能技术能够给人带来的利益大于伤害，才有可能支持继续发展人工智能。而这种信任，需要我们认识和探讨人工智能领域的伦理和治理问题，并且在发展人工智能技术发展的早期就有意识地加以运用。今天学者、科技工作者和社会已经有基本共识，就是负责人工智能系统的研发和应用的人类主体，包括在研究机构、行业领域的科技企业和科技工作者，应当服从一些基本的伦理原则。本文提出的两个基本伦理原则，是国内在这方面思考的总结和升华。除了人工智能的基本伦理原则，前人给我们的另一个启发是人工智能伦理应该嵌入系统本身。当我们越来越依赖于机器人代替我们作出决策时，我们应当在这个决策过程中嵌入伦理思考，而不是等待决策结果已经给我们带来负面影响之后再去纠正。
本文希望用一种更清醒的眼光去看待人工智能伦理和治理问题。学者和公众需要一起探讨：我们有没有可能防止人工智能给个人和社会带来的损害？只有在这个问题得到更深入的思考和妥善解决的时候，人工智能的发展才有真正的基础。
转自丨法理杂志返回搜狐，查看更多
人工智能
20世纪90年代,随着计算机网络和通讯技术的发展,对于主体以及多主体系统的研究成为分布式人工智能研究的一个热点,主体技术提供了一种新的计算和问题求解范型.主体技术快速发展的主要原因是Internet和Web的广泛普及与增加.人们看到了主体技术执行许多任务的潜力,Web上信息资源的超载使得人们希望主体技术能够减轻Web用户的负担,最终将用户从信息海洋中解放出来,在主体帮助下,用户可以只关注他最感兴趣的那些信息
在AOP中,主体使用一种通用的语言,它具有与主体无关的语义.因此,基于主体的软件工程必须解决的重要问题包括:什么是合适的主体通信语言?怎样使用该语言建立主体之间的通讯?什么样的通讯结构有助于主体之间的合作?
一个完整的AOP系统应该包括以下成分:1)一种受限的形式语言.它利用若干模态词,如信念及承诺等来描述心智状态,这个语言必须具有清晰的语法和语义;2)一个程序语言解释器.利用它可以采用基本的命令,如REQUEST、INFORM等来描述主体通信.程序语言的语义必须和心智状态描述语言的语义一致;3)一个主体控制器.它把神经装置转换成可程序化的主体
平台无关有两种:源代码级和目标代码级.C和C++具有一定程度的源代码级平台无关,表明用C和C++写的应用程序不用修改只需重新编译就可以在不同平台上运行.Java主要靠Java虚拟机(JVM)在目标代码级实现平台无关性.JVM是一种抽象机器,它附着在具体操作系统之上,本身就有一套虚机器指令,并有自己的栈、寄存数组等.
在单机时代,程序进程之间靠共享存储进行变量交换;在网络时代,运行在不同宿主机上的程序按网络协议进行无格式的消息(二进制字符流)交换,消息的语义由交换程序双方维护;在Java时代,运行在网格上的程序进程交换是小应用程序(applet).一个applet就是一个对象,由一组属性和方法构成,是一个可执行的实体;不仅有数据的状态,而且有定义在数据上的操作.在未来信息交换进入更高级阶段时可能还要进行智能主体的交换.
第一代编程语言机器语言特征：面向机器。
第二代编程语言汇编语言特征：用针对指令的符号代替二进制代码。
第三代编程语言面向过程：C、C++、pascal、
第四代语言如SQL,支持面向实体的风格.
第五代语言如Smalltalk、C++,使用面向对象的开发风格
第六代语言,有可能就是面向主体的软件开发
黑板系统主要由以下三部分组成。
(1)知识源：包含独立的、与应用程序相关的知识，知识源之间不直接进行通讯，
它们之间的交互只通过黑板来完成。
(2)黑板数据结构：按照与应用程序相关的层次来组织并解决问题的数据，知识源
通过不断地改变黑板数据来解决问题。
(3)控制：
完全由黑板的状态驱动，黑板状态的改变决定了需要使用的特定知识
Actor模型为并行而生，简单说是未解决高并发的一种编程思路。在Actor模型中，主角是Actor，类似一种worker，Actor彼此之间直接发送消息，不需要经过什么中介，消息是异步发送和处理的。在Actor模式中，“一切皆是Actor”，所有逻辑或者模块均别看做Actor，通过不同Actor之间的消息传递实现模块之间的通信和交互。Actor模型描述了一组为了避免并发编程的常见问题的公理:
1.所有Actor状态是Actor本地的，外部无法访问。2.Actor必须只有通过消息传递进行通信。3.一个Actor可以响应消息:推出新Actor,改变其内部状态,或将消息发送到一个或多个其他参与者。4.Actor可能会堵塞自己,但Actor不应该堵塞它运行的线程。