【网安智库】欧盟可信人工智能的伦理指南(草案)介绍
图1:欧盟可信AI框架
2可信AI的伦理指南草案背景
2.1欧盟AI愿景
欧盟委员会在2018年4月提出“先进AI欧洲造”的愿景，注重AI技术的安全性并符合伦理，并为实现这个愿景提出三大支点:(1)增加对AI的公共和私人投资以促进其发展;(2)为社会经济变革做好准备;(3)通过伦理和法律框架来强化欧盟的价值观。伦理框架即为第三个支点的组成部分。
2.2欧盟AI伦理观的来源
AIHLEG认为，实现AI的伦理之道，要以欧盟宪法和人权宪章中对人类的基本权利承诺作为基石，确认抽象的伦理准则，并在AI背景下将伦理、价值观具体化，形成AI的伦理准则，这个准则必须尊重人类基本权利、原则、价值观和尊严。
2.3欧盟AI伦理的五项原则及相关价值观
在设定伦理准则后，AIHLEG列出了必须遵守的五项原则和相关价值观，确保以人为本的AI发展模式。并建议设置一名内部和外部(伦理)专家，参与AI的设计、开发和部署过程，防止AI可能带来的未知或非预期的后果。这五项原则是:
(1)福祉原则:“向善”
AI系统应该用于改善个人和集体福祉。AI系统通过创造繁荣、实现价值、达到财富的最大化以及可持续发展来为人类谋求福祉。因此，向善的AI系统可以通过寻求实现公平、包容、和平的社会，帮助提升公民的心理自决，平等分享经济、社会和政治机会，来促进福祉。AI作为一种工具，可为世界带来收益并帮助应对世界上最大的挑战。
(2)不作恶原则:“无害”
AI系统不应该伤害人类。从设计开始，AI系统应该保护人类在社会和工作中的尊严、诚信、自由、隐私和安全。AI系统的设计不应该增加现有的危害或给个人带来新的危害。AI的危害主要源于对个体数据的处理(即如何收集、储存、使用数据等)所带来的歧视、操纵或负面分析，以及AI系统意识形态化和开发时的算法决定论。为增强AI系统的实用性，要考虑包容性和多样性。环境友好型AI也是“无害”原则的一部分，应避免对环境和动物造成危害。
(3)自治原则:“保护人类能动性”
AI发展中的人类自治意味着人类不从属于AI系统也不应受到AI系统的胁迫。人类与AI系统互动时必须保持充分有效的自我决定权。如果一个人是AI系统的消费者或用户，则需要有权决定是否受制于直接或间接的AI决策，有权了解与AI系统直接或间接的交互过程，并有权选择退出。
(4)公正原则:“确保公平”
公正原则是指在AI系统的开发、使用和管理过程中要确保公平。开发人员和实施者需要确保不让特定个人或少数群体遭受偏见、侮辱和歧视。此外，AI产生的积极和消极因素应该均匀分布，避免将弱势人口置于更为不利的地位。公正还意味着AI系统必须在发生危害时为用户提供有效补救，或者在数据不再符合个人或集体偏好时，提供有效的补救措施。最后，公正原则还要求开发或实施AI的人遵守高标准的追责制。
(5)可解释性原则:“透明运行”
透明性是能让公众建立并维持对AI系统和开发人员信任的关键。在伦理层面，包含技术和商业模式这两类透明性，技术透明指对于不同理解力和专业知识水平的人而言，AI系统都可审计和可理解;商业模式透明指人们可以获知AI系统开发者和技术实施者的意图。
3实施AI系统的潜在问题
AIHLEG同时也认为，特定用途或应用的AI可能会带来问题，因为它们可能会与上述的权利和五项原则相冲突。而且AI的两用特性使其既可能增强也可能削弱欧洲的价值观。因此，就有必要平衡AI应该做什么、可以做什么及不用或不能做什么这类问题。当然，人们对规则和原则的理解会随着时间的推移而变化，因此问题具有阶段性的特点。
3.1数据主体权利保护问题
AI可让公共或私人实体更有效地识别出特定个人。为了维护欧洲公民的自主权，需要在AI中合理使用监控技术。实现可信AI应当兼顾区别个体识别与追踪和跟踪个人之间的差异，以及有针对性地监视和普遍监视之间的差异，这点可以参照“一般数据保护条例”(GDPR)第6条(该条规定，只有具备有效的法律依据，数据处理才合法)。
3.2隐蔽AI系统问题
人们应当知道其交互对象是人还是机器，AI开发和部署人员有责任并且需要可靠地实现这一点。否则，有能力控制AI的人就能够操纵人类。因此AI开发和部署人员应确保人们可了解或通过请求并验证他们正在与AI进行交互。人与机器之间的边界模糊会带来如依附、影响或降低生而为人所应具有人生价值之类的恶果，同理发展人形机器人更应经过仔细的伦理评估。
3.3偏离人类基本权利、未经同意的带有普遍性针对公民进行标准化评价问题
欧盟注重公民的自由和自治，大规模地规范性公民评价(如“道德人格”或“伦理完整性”等)可能危及这些价值观，尤其是使用时背离人类基本权利，或使用不合适、目标不明确或者传导偏差的情况下，更是如此。当在有限的社会领域施行公民评价时，人们应该获知完全透明的程序，并知晓有关评分的过程、目的和方法的信息，还可选择退出评分机制。因此，开发和部署人员应在技术设计中确保设置退出选项，并提供必要的支持。
3.4致命性自主武器系统(LAWS)问题
LAWS可在没有人为控制的情况下运行，但最终人类必须对所有伤亡负责。目前，众多国家和行业正在研究和开发致命自主武器系统，包括能够自主选择攻击的导弹、具有认知能力的自主杀人机器等，这都带来了基本的伦理问题。
3.5其它潜在的长期问题
当前所有的AI均是针对特定领域的，需精确指定目标。但随着技术的发展，可能会有所不同，如机器意识的发展带来机器觉醒、或者出现实现自我改善的通用AI(AGI)等。虽然有些问题目前看来似乎还很遥远，但需要及早关注并投入资源，尽量减少对长期风险、未知数和“黑天鹅”认识的不确定性。
4如何实现可信AI
报告构建了关于如何实施和实现可信AI的相对完整的指南，并提出了实现可信AI的十项基本要求，以及实现这些要求的方法。
4.1实现可信AI的途径概述
(1)在早期的设计阶段就融入可信AI的十项要求:可追责性、数据治理、普惠性设计、AI自主性的管控、非歧视、尊重和强化人类自治、隐私保护、健壮性、安全性和透明性。
(2)采纳技术和非技术的方法确保满足要求，而且要始终贯彻。
(3)清楚而积极地向利益相关方(客户、雇员等)说明AI的能与不能，协助设定合理预期，同时确保AI系统的可回溯性。
(4)将可信AI融入组织文化，并将此添加到公司章程和行为手册中。
(5)确保利益相关各方参与AI系统的设计和开发过程，保证团队的多样性。
(6)促成AI的可审计性和可解释性。在设计系统时，就保证可追踪个人的决策、数据、预训练模型。
(7)设定管理可追责的专用流程。
(8)加强培训和教育，确保管理者、研发者、用户和雇员都认识到可信AI的重要性，并且接受可信AI相关的教育培训。
(9)各项要求之间是有结构性冲突的，如开放会带来滥用、纠正偏见又与隐私保护冲突，应加强沟通并仔细权衡。
(10)鼓励研究和创新精神，深化可信AI要求。
4.2可信AI的基本要求解释
可信AI是将一般性和抽象性的伦理准则融入到AI系统和具体应用中。AIHLEG共提出十项要求，并按字母顺序排列，这10项要求均同等重要。针对不同的应用领域和行业，应根据特定环境进行评估。
(1)可追责性
良好的AI管控应当包括可追责机制，根据目标不同选择而十分多样，如金钱补偿(无过失险)、缺陷调查、无赔偿的和解等。可追责机制的选择依据是活动的性质、重要性及自主性等级等。如系统误读医疗报告并错误地决定不予报销，就可以通过赔偿来解决。但在AI歧视案例中，解释和道歉是必备的。
(2)数据治理
训练所使用数据集的质量对于AI系统至关重要，数据的隐私保护与满足要求达成高质量的AI并不完全冲突。但数据收集过程中将不可避免地包含偏见，因此应在训练前进行删减。
此外，必须确保仔细进行训练数据的分类，并验证和测试，还要将匿名化的数据划分为多个子集，保证某些数据(例如来自同一人的图谱数据)不会同时进入训练和测试环节。
(3)普惠性设计
系统的设计应面向所有公民提供产品或服务，无论其年龄、残疾状况或社会地位如何。特别重要的是，要考虑残障人士对AI产品和服务的使用。AI应用程序不宜采用一刀切的方法，而应以用户为中心，并考虑人类的各种能力、技能和要求。普惠性设计意味着任何人在任何地方、任何时间都可以获得和使用技术，并确保将其纳入任何场景，从而使所有人能够平等获取和积极参与现有和新兴的以计算机为媒介的人类活动(这一要求参照了《联合国残疾人权利公约》)。
(4)AI自主性的管控
确保诸如安全性、准确性、适应性、隐私性、可解释性、遵守法治和符合伦理等属性的正确方法，在很大程度上取决于AI系统的具体细节、应用领域和对个人、社区或社会的影响程度，以及其自主性水平。AI系统的自主程度取决于具体应用案例和应用场景所需的复杂程度。在所有其他条件相同的情况下，要给予AI系统更大程度的自主性，就需要更广泛的测试和更严格的管控。根据AI系统的应用领域和对个人、社区或社会的影响程度的不同，需要实施不同水平的管控。要实现AI自主性的良好管控，应根据AI对社会影响的程度，进行更多、更早的人为干预。
(5)非歧视
AI歧视会出现在不同个人或群体中，可能是有意也可能是无意的，主要基于特征差异而产生不同的结果，这将对此类特定个人或群体将产生负面影响。使用AI出现的直接或间接歧视，可导致对特定群体的偏见和边缘化。控制算法的人可能会故意获得不公平、歧视或偏见的结果，将某类群体排除在外。如，故意伤害可以通过明确操纵数据以排除某些群体来实现。伤害也可能来自于消费者偏见或不公平竞争，例如通过共谋或不透明市场手段造成价格同质化。
(6)尊重和强化人类自治
AI系统的设计不仅要维护权利、价值观和原则，还应保护公民的多样性，使其免受AI技术所带来的政府和私人侵权行为的影响，确保公平分配AI技术带来的益处，保护和加强多个不同的人类价值观，增强个人用户和社区的自决、自主。
AI产品和服务，可能通过极端个性化途径，通过潜在地操纵诱导引导个人选择。同时，人们越来越愿意和期望将决策和行动委托给机器(如推荐系统、搜索引擎、导航系统、虚拟教练和个人辅助)。用于帮助用户的系统，必须为用户提供明确的支持以鼓励他/她自己的偏好，并设置限制防止系统干预，确保用户的福祉由其自己定义，这是系统功能设计的核心。
(7)隐私保护
隐私和数据保护必须在AI系统生命周期的各个阶段得到保证。这包括用户提供的所有数据，以及在与AI系统交互过程中生成的关于用户的所有信息。人类行为的数字记录可以显示高度敏感的数据，不仅包括其偏好，也包括其性取向、年龄、性别、宗教和政治观点。持有这些信息的人可能会利用其信息优势达到特定目的。组织必须注意数据是如何使用并影响用户的，确保完全遵循GDPR和其他有关隐私和数据保护的可用法规。
(8)健壮性
可信AI要求算法安全、可靠且足够稳健，以便在AI系统的设计、开发、执行、部署和使用阶段处理错误，并且能够应对错误输出。健壮性一般体现在以下四个方面:
可靠性和可重现:可信AI要求结果的准确性可以通过独立评估来确认和重现。可重现性对于保证结果在不同情况、计算框架和输入数据中保持一致至关重要。缺乏可重现性可导致AI决策中的非故意歧视。
精确性:精确性与AI将信息分类到正确类别的能力有关，以及能够根据数据或模型做出正确的预测、建议或决策。明确且完善的开发和评估流程可以支持、缓解和纠正意外风险。
弹性:与其他软件系统一样，AI系统也可能包含漏洞，导致其被攻击者利用。如果AI系统受到攻击，数据和系统的行为将被改变，导致系统作出不同的决策，或导致系统完全关闭。系统或数据也可能因恶意或暴露于意外情况而被破坏。管理不善有可能导致数据被有意或无意地篡改，或允许将算法授权给未经授权的实体，也可能导致歧视、错误决定甚至物理伤害。
应急预案:安全的AI系统应具备安全措施，可以在AI系统出现问题时启动应急计划。在某些情况下，这可能意味着AI系统由统计模式切换到基于规则的程序，在其他情况下，这意味着系统在继续运行之前可能需要人类操作员的介入。
(9)安全性
安全性是指确保系统确实完成其应该做的事，而没有伤害到用户、资源或环境，包括使意外结果和系统行动错误最小化。应制定确认和评估与使用AI产品和服务相关的潜在风险的流程。此外，需要正式的机制来衡量和指导AI系统的适应性。
(10)透明性
透明性是指减少信息不对称。可解释性作为透明性的一种形式，需要能够描述、监督和重现AI系统做出决策和学习、适应环境的机制，以及系统使用和创立的数据的来源和动态变化。对于使用人类数据、影响人类或可能产生其他道德上重大影响的所有模型，应明确公开有关的数据来源、开发过程和利益相关者的选择和决策。
4.3实现可信AI的技术和非技术方法
为使AI系统满足上述十项要求，AIHLEG提出了实现可信AI的主要途径，并指出可在开发流程的各个层次(分析、设计、研发和使用)采用5个技术性方法和7个非技术性方法，同时该流程也是动态和持续循环的，如图2所示。
图2:在系统的全生命周期实施可信AI
4.3.1技术性方法
这些方法可以融入到AI系统的设计、开发和使用阶段，一般需要定期跟踪和持续评估。
(1)将伦理和法律纳入设计
确保将价值观融入设计阶段，是指以可用和符合法律规则或社会规范的方法，精准、明晰地链接AI系统应遵循的抽象原则和特定的实施决策。其核心是将对法律和伦理价值观的遵守，至少在某种程度上，融入到AI系统本身的设计之中。这也要求企业有责任在最初就预估出AI系统的伦理影响，以及该系统应当遵守的伦理规则和法律规则。
(2)设立可信AI的架构
可信AI的要求应当被“转换”为过程或过程限制，这是可信AI架构的构成要素。可通过建立规则来控制智能代理的行为，或者通过设立行为边界对其采取监控。一个能够积极学习和适应其行为的智能系统，可被理解成一个随机系统，通常用“感知-计划-行动”循环进行描述。为使此架构符合可信AI，伦理目标和要求应当被融入到“感知”层，从而可以形成遵守这些准则的计划。
(3)测试和验证
为了验证一致性和数据的既定处理流程，应当仔细监测模型的稳定性、健壮性、运行结果的易理解性和可预测性。应当明确计划过程的输出结果与输入相一致，确保所采取的决策经验是合理的。系统的测试和验证应当尽早，并且持续迭代，确保在整个生命周期特别是在部署之后，系统能以既定的行为方式运作。重要的是，测试应当不仅限于数据，还应包括系统的所有输入，以及整个系统的行为。测试还应当尽可能由多样化的人群执行。最后，对抗性测试和赏金计划也是可以考虑的。
(4)可追溯、可审计
为应对透明性和可解释性的挑战，AI系统应当记录其所作的决策和产生决策的整个流程，使决策可追溯。可追溯有助于可审计，可以推动实现监控和验证算法、数据和设计流程。在某种程度上，AI的可审计性在目前是可以达到的目标，并且随着时间推移将得到不断提升。
(5)可解释性
为建立一个可信系统，有必要了解为什么该系统出现给定的行为、为什么该系统提供给定的解释，也有必要限制对抗性情境。截至目前，这些对于基于神经网络的AI系统仍然是开放式的挑战。在整个研究领域中，可解释的AI(XAI)正试图解决这一问题，以便更好地理解背后的机制，并找到解决方案。这个问题至关重要，不仅要向开发人员或用户解释AI的行为，还要简单地部署可靠的AI系统。
4.3.2非技术性方法
非技术性方法相对开放，并非强制性要求，但可确保实现可信AI。
(1)监管
虽然如今已有较多规范性文件可提高AI的可信度，如安全立法或可信赖框架，但AIHLEG认为需要更新、适应或引进新的规则，这会在未来的第二版中进行增补。可信AI需要一个明确可追责的机制，当伤害发生时，确保合适的补救措施可用。这个机制包括当AI造成伤害时的赔偿规则，以及是否故意及是否有错的认定机制，后续的和解、纠错、道歉等。
(2)标准化
使用商定的设计、制造和商业标准可以作为AI的质量管理系统，为消费者、参与者和政府提供通过购买决策识别和奖励道德行为的能力。在公约标准之外，公共规范也同样可行，如认证体系、职业道德手册、符合基本权利的标准等。这类例子包括ISO标准、公平交易标准、或“欧洲制造”标签等。
(3)责任落实
组织应当设定内部或外部的管理框架，确保可追责性。如:任命某人或内外部伦理委员会来负责AI相关的伦理问题，由该负责人或委员会对此类问题进行监督，并提供建议。
(4)行为守则
组织和利益相关方可以通过签署指南、调整其公司章程中的责任、KPI、行为守则等来实现可信AI。
(5)教育和培养伦理观念
可信AI要求所有利益相关方具有知情参与权。这就要求教育发挥重要作用，既要确保AI潜在影响的知识普及，又要让人们意识到他们可以参与塑造社会发展。教育的对象包括系统制造商(设计者、开发者)、用户(公司、个人)以及其他有关团体。教育公众的先决条件是确保伦理学家拥有该领域的适当技能和培训。
(6)多方沟通
AI带来的益处非常广泛，如更好的医疗、更安全的交通等，欧洲需要确保全体欧洲人能均享AI红利。这就需要设立开放式的讨论，让社会群体、利益相关方和普通公众等共同参与。许多组织已经依赖利益相关者委员会来讨论AI的使用和数据分析。这些委员会包括不同的专家和利益相关者，包括法律专家、技术专家、伦理学家、客户和员工代表等。
(7)包容与多元
多样性和包容性是AI的基本特性。由于AI执行的任务种类繁多，因此设计、开发、测试和维护AI系统的团队，也应当反映用户、社会的总体多样性，这有助于提高系统客观性，兼顾不同视角、需求和目标。团队不仅应当在性别、文化、年龄方面是多样的，而且其职业背景和技能也应当是多元的。
4.4可信AI的评估
指南为了更便于执行，还根据十项要求拟定了评估清单，以提醒负责人在评估时应考虑的事项。鉴于AI具有场景特定性，需要针对特定情况采取相适应的方法，因此清单适用性因实际用例不同而有所不同，可根据需要进行调整。评估过程是动态且循环迭代的过程，可用于AI流程中每个步骤的评估:从数据收集、初始设计阶段，到AI系统的开发、训练或运行，以及实际的部署和使用。
例如，关于“可追责性”要求的评估事项，包括:现有技能和知识是否能用于责任分担、是否成立AI伦理审查委员会、灰色地带的讨论机制、是否成立内部或外部专家小组等。
5结语
欧盟的可信AI框架，强调自发的伦理约束，更关注对“人”的尊重和普遍参与，追求共同的福祉，并且便于理解和执行。这个框架的基础是伦理规范，即守护人类的基本权利、遵循道德准则和维护人类社会价值观，同时强调AI技术自身应具备健壮性和可靠性。该指南还提出可信AI的10项要求，以及技术性及非技术性共计12种实践途径和方法，还根据每类要求设计出评估清单，便于产业参与各方评估可信AI应用的达标情况，具有较强的操作性和适用性。
我国高度重视AI与其他产业的融合发展，从2016年起已陆续出台多项重要政策，如《“互联网+”AI三年行动实施方案》《新一代AI发展规划》《促进新一代AI产业发展三年行动计划(2018-2020年)》等，有力地推动了我国AI产业发展。但AI作为一项对人类社会未来发展影响深远的技术，也存在一定的安全风险。例如未来人类创造出来的超级智能是否会拥有超越人类的能力和意志，同时它们是否具有与人类相似的价值观和社会规范。因此应当未雨绸缪，及早布局和研究AI技术的安全性，确保技术的研究和应用符合人类社会的伦理规范。目前上海在2018世界人工智能大会中发布过关于AI安全的八项倡议，更早之前腾讯、科大讯飞等企业也发表过各自的AI倡议，但国家、产业尚未有统一的普遍共识，因此欧盟可信AI伦理指南可以提供有益的借鉴。另外我国部分AI企业也在积极开拓欧盟市场，因此这份指南是这类企业必须要关注的对象。
作者>>>
李宁，上海赛博网络安全产业创新研究院高级研究员，博士，主要从事网络安全产业趋势及产业政策研究，人工智能安全研究等。
贺佳瀛，上海赛博网络安全产业创新研究院研究员，主要从事网络空间战略、政策、前沿技术和网络安全治理领域研究。
黄紫婓，上海外国语大学国际关系与公共事务学院博士研究生，研究方向为国际关系、公共安全。
原创声明>>>
本微信公众号刊载的原创文章，欢迎个人转发。未经授权，其他媒体、微信公众号和网站不得转载。
···························································返回搜狐，查看更多
《人工智能伦理与治理报告》内容解读
2021年8月15日，由清华大学数据治理研究中心主办的“人工智能伦理与治理”专题研讨会于云端举行，来自中央党校、中国社科院、清华大学、复旦大学、浙江大学、中国政法大学、电子科技大学、山东大学、北京化工大学、中国农业大学、对外经济贸易大学、山东师范大学等高校的多位专家学者共聚一堂，围绕人工智能伦理的核心关切和治理方式等问题展开深入研讨。会议由清华大学社会科学学院副院长、计算社会科学平台执行主任孟天广副教授主持。
会上，清华大学数据治理研究中心项目研究员严宇、戴思源和李珍珍共同汇报了《人工智能伦理与治理报告》。报告将人工智能伦理分为安全、透明、公平、个人数据保护、责任等八个维度，通过问卷调查的方式收集了公众针对这些伦理维度的关切情况及治理方式。报告特别关注了算法伦理问题，专门就算法透明、算法公开及数据保护三个方面展开讨论。最后，报告还提出了人工智能伦理治理的“中国方案”。以下为汇报内容：
严宇：美国人工智能监管以发展和创新为先
清华大学数据治理研究中心项目研究员严宇表示，从伦理治国的跨国比较来看，美国的人工智能监管是以发展和创新优先为导向的。
严宇指出，在全球范围内，各国都已经看到人工智能技术对社会的影响，总体可以分为乐观派和悲观派两大派系。乐观派认为人工智能技术极大地促进了经济社会发展；相对来说，悲观派会更多地关注潜在的伦理风险。“由此会产生两种不同的措施，比如乐观派会积极采用战略规划和政策文件来推动人工智能技术的发展与应用；悲观派则会对人工智能伦理开展专项调查，甚至出台具体措施，对伦理风险进行规制。”
严宇在对人工智能伦理治理体系进行跨国比较后表示，美国为了保持其在人工智能领域的全球领先地位，既看重发展，又会考虑伦理风险。“但总体来说美国仍然是以发展和创新优先。”美国非常强调政府和企业、学校、研究机构等社会组织的合作。从顶层设计上来看，联邦政府曾发布行政命令和战略规划，推动人工智能的发展。这些战略规划也提出要对人工智能的伦理问题进行规制，但是其监管仍然是将发展和创新放在更优先的地位。
在严宇看来，不同于美国以发展和创新为先的监管体系，欧盟的监管体系更加严格。“欧盟人工智能企业的数量、规模和影响力虽然排在美国和中国之后，但是它的人工智能监管和治理却在全球有相当的影响力，形成了以强监管为核心特征的治理体系。”
对于邻国日本的人工智能技术发展，严宇表示，日本在试图从中寻找平衡，一方面肯定人工智能的重要作用，另外一方面又要强调重视它的负面影响。日本为此建立了一系列伦理的准则。
严宇介绍道，过去十年，中国的人工智能技术发展速度非常迅猛，近几年中国也越来越关注人工智能的伦理及治理问题。组织和制度方面，中国建立了新一代人工智能治理专业委员会，发布了《新一代人工智能发展规划》，提出要建立规范的伦理体系和法律法规；治理原则方面，形成了《网络安全标准实践指南》，专门提出对人工智能的伦理安全风险开展防范和治理。监管体系方面，中国正在大力推动国家人工智能安全和评估体系。
戴思源：网民关心反垄断时代人工智能相关的数据权利
研究发现，网民关心反垄断时代人工智能相关的数据权利。戴思源的团队从安全、透明、公平、个人数据保护、责任、真实、人类自主、人类尊严八个维度对人工智能伦理进行梳理，并结合小数据和大数据展开实证分析。小数据主要来自清华大学数据治理研究中心在2021年7月份展开的有关人工智能应用与公众认知的网络问卷调查，共收集2654份，有效数2041份；大数据来自新浪微博的网民讨论数据，提取人工智能相关关键词条共4496万条，另外一个大数据来源是今日头条有关人工智能的1.9万篇文章和相关评论2.5万条。
戴思源表示，网民对各个维度都有所关注，其中在安全、公平、个人数据保护、责任方面，表示关切的人数最多。对比之下，对透明、人类自主和人类尊严这几个维度较少关注。
在人工智能应用的生活场景中，戴思源的团队将其划分为智能门禁、智能家居和信息类APP等几个类别，让受访者对人工智能技术选择各个层面因素进行排序。“总的来看，在所有场景当中，有用性和伦理因素都是最重要的因素，影响受访者是否使用该类人工智能产品。”戴思源说。
同时，戴思源的团队也对社交媒体与资讯大数据展开分析。他们在对新浪微博的数据按上述八个伦理维度进行细分之后发现，微博网民主要关注安全、透明、隐私保护和责任等方面。通过词云图进一步分析，发现在安全维度上，公众主要对人工智能技术的安全性表示关切；透明维度上，公众主要对物联网金融信息公开、特斯拉自动驾驶的数据公开、人工智能技术细节的公开展开讨论；隐私保护方面，公众主要集中于人脸识别等技术的滥用、互联网企业利用大数据杀熟等现象展开讨论；可靠性维度上，公众主要讨论人工智能产品是否能够为用户提供可靠的服务。
戴思源指出，针对不同的企业，新浪微博的网民对于特斯拉的讨论度最高。“这可能与特斯拉在行业的技术领先优势及社会舆情事件密切相关。”另外，阿里、华为等企业的讨论热度也紧随其后。微博网民更倾向于从人工智能所取得的技术进展和革新来讨论企业。
戴思源表示，阿里巴巴反垄断案、抖音诉腾讯不正当竞争案等高点赞文章的主题都同平台垄断等新型市场垄断形式密切相关。“这反映出网民关心新型垄断形式所主导下的人工智能发展以及与此相关联的数据权利。”
李珍珍：较多受访者认为不应公开算法源代码
研究发现，公众对算法公开的支持态度主要集中在算法应用和推广阶段，但较多受访者认为不应公开算法源代码。
李珍珍针对算法的伦理问题提出三个关切点：算法的透明、公平和数据保护。她的团队通过问卷调查收集公众对于算法透明、算法公开的态度，总结公众对算法透明和公开的五个维度：一是人工智能企业应该向社会披露算法的目的、范围和用途；二是企业应该向社会解释算法的步骤、原理和细节；三是企业应该向社会公开算法的源代码；四是企业应该向社会披露算法使用的风险；五是企业应该接受社会对算法开发和应用的监督。
调研结果显示，从整体上看，公众对算法透明和公开持普遍支持态度，绝大部分受访者对于算法的目的、范围、用途、算法风险、算法开发应用这些方面选择比较同意或者非常同意。然而，对于公开算法的步骤、原理、细节以及公开算法的源代码，持同意态度受访者比例会显著降低，特别是较多受访者都认为不应该公开算法源代码。
李珍珍表示，公众对算法公开的支持态度主要集中在算法应用和推广阶段，即在使用人工智能产品过程中直接受算法影响的那个阶段。而对算法的设计过程，尤其是源代码，大多数人并不认为应该公开。
在当前算法社会中，用户成为被算法评估的对象。李珍珍指出，我们应该选择适当的措施来保障算法的公平，规避算法歧视。“我们对于算法公平的调查，将有助于科技工作者研发出更具公平原则的算法，这种公平原则需要符合公众对公平概念的普遍理解。”
另外，李珍珍还提到算法伦理问题很大程度上是关注个人数据和隐私保护。团队在调查中发现，公众认为最重要的个人信息包括自己的基本信息、人际关系信息、经济情况信息等。另外，在隐私泄露、信息盗用、信息删除、信息查阅等个人信息和隐私潜在风险的四个方面，网民对于个人隐私泄露和信息盗用最为担心。
“算法社会的内生风险和伦理问题需要我们在未来进一步规范算法的研发和应用，系统讨论算法伦理及其风险治理，让算法更好地服务人类社会。”李珍珍说。
回顾“人工智能伦理与治理”专题研讨会：
人工智能伦理与治理研讨会成功举办
孟天广：人工智能伦理及其治理要打通科技社群与社会大众
吕鹏：人工智能伦理问题需实证证实或证伪
陈水生：人工智能伦理和治理需要“发展”和“监管”双轮驱动
李锋：人工智能伦理不能脱离社会经济状况和历史视角
孙宗锋：需研究公众对人工智能伦理关注重心的背后原因
赵娟：人工智能治理框架应处理四对关系
熊易寒：把算法还原成普通人能理解的逻辑
吴超：算法技术问题最根本的解决方法是发展技术本身
贾开：应从技术与社会互嵌角度重视人工智能治理框架
曲甜：从技术与组织关系分析人工智能的治理模式
宁晶：网络用户使用技能和心理效能影响算法接受度
张小劲：算法治理应致力于促发展、防滥用并消除污名化现象
更多与会专家发言内容，欢迎查看专题报道，或关注清华大学数据与治理研究中心官方微信公众号“数据与治理”。
（来源：中新经纬APP，未经授权禁止转载）
人工智能伦理问题的现状分析与对策
中国网/中国发展门户网讯 人工智能（AI）是第四次产业革命中的核心技术，得到了世界的高度重视。我国也围绕人工智能技术制定了一系列的发展规划和战略，大力推动了我国人工智能领域的发展。然而，人工智能技术在为经济发展与社会进步带来重大发展机遇的同时，也为伦理规范和社会法治带来了深刻挑战。2017年，国务院印发的《新一代人工智能发展规划》提出“分三步走”的战略目标，掀起了人工智能新热潮，并明确提出要“加强人工智能相关法律、伦理和社会问题研究，建立保障人工智能健康发展的法律法规和伦理道德框架”。2018年，习近平总书记在主持中共中央政治局就人工智能发展现状和趋势举行的集体学习时强调，要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控。要整合多学科力量，加强人工智能相关法律、伦理、社会问题研究，建立健全保障人工智能健康发展的法律法规、制度体系、伦理道德。2019年，我国新一代人工智能发展规划推进办公室专门成立了新一代人工智能治理专业委员会，全面负责开展人工智能治理方面政策体系、法律法规和伦理规范研究和工作推进。《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》中专门强调要“探索建立无人驾驶、在线医疗、金融科技、智能配送等监管框架，完善相关法律法规和伦理审查规则”。这些均体现了我国对人工智能伦理及其治理的密切关注程度和积极推进决心，同时也突出了这一问题的重要性。
当前人工智能伦理问题
伦理是处理人与人之间关系、人与社会之间关系的道理和秩序规范。人类历史上，重大的科技发展往往带来生产力、生产关系及上层建筑的显著变化，成为划分时代的一项重要标准，也带来对社会伦理的深刻反思。人类社会于20世纪中后期进入信息时代后，信息技术伦理逐渐引起了广泛关注和研究，包括个人信息泄露、信息鸿沟、信息茧房、新型权力结构规制不足等。信息技术的高速变革发展，使得人类社会迅速迈向智能时代，其突出表现在带有认知、预测和决策功能的人工智能算法被日益广泛地应用在社会各个场景之中；前沿信息技术的综合运用，正逐渐发展形成一个万物可互联、万物可计算的新型硬件和数据资源网络，能够提供海量多源异构数据供人工智能算法分析处理；人工智能算法可直接控制物理设备，亦可为个人决策、群体决策乃至国家决策提供辅助支撑；人工智能可以运用于智慧家居、智慧交通、智慧医疗、智慧工厂、智慧农业、智慧金融等众多场景，还可能被用于武器和军事之中。然而，迈向智能时代的过程如此迅速，使得我们在传统的信息技术伦理秩序尚未建立完成的情况下，又迫切需要应对更加富有挑战性的人工智能伦理问题，积极构建智能社会的秩序。
计算机伦理学创始人 Moore将伦理智能体分为4类：伦理影响智能体（对社会和环境产生伦理影响）；隐式伦理智能体（通过特定软硬件内置安全等隐含的伦理设计）；显示伦理智能体（能根据情势的变化及其对伦理规范的理解采取合理行动）；完全伦理智能体（像人一样具有自由意志并能对各种情况做出伦理决策）。当前人工智能发展尚处在弱人工智能阶段，但也对社会和环境产生了一定的伦理影响。人们正在探索为人工智能内置伦理规则，以及通过伦理推理等使人工智能技术的实现中也包含有对伦理规则的理解。近年来，越来越多的人呼吁要赋予人工智能机器一定的道德主体地位，但机器能否成为完全伦理智能体存在巨大的争议。尽管当前人工智能在一些场景下的功能或行为与人类接近，但实则并不具有“自由意志”。从经典社会规范理论来看，是否能够成为规范意义上的“主体”来承担责任，并不取决于其功能，而是以“自由意志”为核心来构建的。黑格尔的《法哲学原理》即以自由意志为起点展开。因此，当前阶段对人工智能伦理问题的分析和解决路径构建应主要围绕着前3类伦理智能体开展，即将人工智能定性为工具而非主体。
当前阶段，人工智能既承继了之前信息技术的伦理问题，又因为深度学习等一些人工智能算法的不透明性、难解释性、自适应性、运用广泛等特征而具有新的特点，可能在基本人权、社会秩序、国家安全等诸多方面带来一系列伦理风险。例如：人工智能系统的缺陷和价值设定问题可能带来公民生命权、健康权的威胁。2018年，Uber自动驾驶汽车在美国亚利桑那州发生的致命事故并非传感器出现故障，而是由于 Uber在设计系统时出于对乘客舒适度的考虑，对人工智能算法识别为树叶、塑料袋之类的障碍物做出予以忽略的决定。人工智能算法在目标示范、算法歧视、训练数据中的偏失可能带来或扩大社会中的歧视，侵害公民的平等权。人工智能的滥用可能威胁公民隐私权、个人信息权。深度学习等复杂的人工智能算法会导致算法黑箱问题，使决策不透明或难以解释，从而影响公民知情权、程序正当及公民监督权。信息精准推送、自动化假新闻撰写和智能化定向传播、深度伪造等人工智能技术的滥用和误用可能导致信息茧房、虚假信息泛滥等问题，以及可能影响人们对重要新闻的获取和对公共议题的民主参与度；虚假新闻的精准推送还可能加大影响人们对事实的认识和观点，进而可能煽动民意、操纵商业市场和影响政治及国家政策。剑桥分析公司利用 Facebook上的数据对用户进行政治偏好分析，并据此进行定向信息推送来影响美国大选，这就是典型实例。人工智能算法可能在更不易于被察觉和证明的情况下，利用算法歧视，或通过算法合谋形成横向垄断协议或轴辐协议等方式，破坏市场竞争环境。算法决策在社会各领域的运用可能引起权力结构的变化，算法凭借其可以处理海量数据的技术优势和无所不在的信息系统中的嵌入优势，对人们的权益和自由产生显著影响。例如，银行信贷中通过算法进行信用评价将影响公民是否能获得贷款，刑事司法中通过算法进行社会危害性评估将影响是否进行审前羁押等，都是突出的体现。人工智能在工作场景中的滥用可能影响劳动者权益，并且人工智能对劳动者的替代可能引发大规模结构性失业的危机，带来劳动权或就业机会方面的风险。由于人工智能在社会生产生活的各个环节日益广泛应用，人工智能系统的漏洞、设计缺陷等安全风险，可能引发个人信息等数据泄露、工业生产线停止、交通瘫痪等社会问题，威胁金融安全、社会安全和国家安全等。人工智能武器的滥用可能在世界范围内加剧不平等，威胁人类生命与世界和平……
人工智能伦理风险治理具有复杂性，尚未形成完善的理论架构和治理体系。人工智能伦理风险的成因具有多元性，包括人工智能算法的目标失范、算法及系统缺陷、受影响主体对人工智能的信任危机、监管机制和工具欠缺、责任机制不完善、受影响主体的防御措施薄弱等。人工智能技术和产业应用的飞速发展，难以充分刻画和分析其伦理风险及提供解决方案。这要求我们必须克服传统规范体系的滞后性，而采用“面向未来”的眼光和方法论，对人工智能的设计、研发、应用和使用中的规范框架进行积极思考和构建，并从确立伦理准则等软法开始，引领和规范人工智能研发应用。
关于人工智能的发展，我们既不能盲目乐观，也不能因噎废食，要深刻认识到它可以增加社会福祉的能力。因此，在人类社会步入智能时代之际，必须趁早从宏观上引导人工智能沿着科学的道路前行，对它进行伦理反思，识别其中的伦理风险及其成因，逐步构建科学有效的治理体系，使其更好地发挥积极价值。
人工智能伦理准则、治理原则及进路
当前全球人工智能治理还处于初期探索阶段，正从形成人工智能伦理准则的基本共识出发，向可信评估、操作指南、行业标准、政策法规等落地实践逐步深入，并在加快构建人工智能国际治理框架体系。
伦理准则
近几年来，众多国家、地区、国际和国内组织、企业均纷纷发布了人工智能伦理准则或研究报告。据不完全统计，相关人工智能伦理准则已经超过40项。除文化、地区、领域等因素引起的差异之外，可以看到目前的人工智能伦理准则已形成了一定的社会共识。
近年来，中国相关机构和行业组织也非常积极活跃参与其中。例如：2018年1月，中国电子技术标准化研究院发布了《人工智能标准化白皮书（2018版）》，提出人类利益原则和责任原则作为人工智能伦理的两个基本原则；2019年5月，《人工智能北京共识》发布，针对人工智能的研发、使用、治理 3 个方面，提出了各个参与方应该遵循的有益于人类命运共同体构建和社会发展的15条原则；2019年6月，国家新一代人工智能治理专业委员会发布《新一代人工智能治理原则——发展负责任的人工智能》，提出了人工智能发展的8项原则，勾勒出了人工智能治理的框架和行动指南；2019年7月，上海市人工智能产业安全专家咨询委员会发布了《人工智能安全发展上海倡议》；2021年9月，中关村论坛上发布由国家新一代人工智能治理专业委员会制定的《新一代人工智能伦理规范》等。从发布内容上看，所有准则在以人为本、促进创新、保障安全、保护隐私、明晰责任等价值观上取得了高度共识，但仍有待继续加深理论研究和论证，进一步建立共识。
治理原则
美国、欧洲、日本等国家和地区在大力推动人工智能技术和产业发展的同时，高度重视人工智能的安全、健康发展，并将伦理治理纳入其人工智能战略，体现了发展与伦理安全并重的基本原则。
习近平总书记高度重视科技创新领域的法治建设问题，强调“要积极推进国家安全、科技创新、公共卫生、生物安全、生态文明、防范风险、涉外法治等重要领域立法以良法善治保障新业态新模式健康发展”。近年来，我国在应对新技术新业态的规制和监管方面，形成了“包容审慎”的总体政策。这项基本政策在2017年就已正式提出。在2020年1月1日起实施的《优化营商环境条例》第55条中更是专门规定了“包容审慎”监管原则：“政府及其有关部门应当按照鼓励创新的原则，对新技术、新产业、新业态、新模式等实行包容审慎监管，针对其性质、特点分类制定和实行相应的监管规则和标准，留足发展空间，同时确保质量和安全，不得简单化予以禁止或者不予监管。”这为当前人工智能伦理治理提供了基本原则和方法论。一方面，要注重观察，认识到新技术新事物往往有其积极的社会意义，亦有其发展完善的客观规律，应予以一定空间使其能够发展完善，并在其发展中的必要之处形成规制方法和措施。另一方面，要坚守底线，包括公民权利保护的底线、安全的底线等。对于已经形成高度社会共识、凝结在法律之中的重要权益、价值，在执法、司法过程中都要依法进行保护。这既是法律对相关技术研发者和使用者的明确要求，也是法律对于在智能时代保护公民权益、促进科技向善的郑重承诺。
治理进路
在人工智能治理整体路径选择方面，主要有两种理论：“对立论”和“系统论”。
“对立论”主要着眼于人工智能技术与人类权利和福祉之间的对立冲突，进而建立相应的审查和规制制度。在这一视角下，一些国家和机构重点关注了针对人工智能系统本身及开发应用中的一些伦理原则。例如，2020年《人工智能伦理罗马倡议》中提出7项主要原则——透明、包容、责任、公正、可靠、安全和隐私，欧盟委员会于2019年《可信赖人工智能的伦理指南》中提出人工智能系统全生命周期应遵守合法性、合伦理性和稳健性3项要求，都体现了这一进路。
“系统论”则强调人工智能技术与人类、其他人工代理、法律、非智能基础设施和社会规范之间的协调互动关系。人工智能伦理涉及一种社会技术系统，该系统在设计时必须注意其不是一项孤立的技术对象，而是需要考虑它将要在怎样的社会组织中运作。我们可以调整的不仅仅是人工智能系统，还有在系统中与之相互作用的其他要素；在了解人工智能运作特点的基础上，可以在整个系统内考虑各个要素如何进行最佳调配治理。当前在一些政策和法规中已有一定“系统论”进路的体现。例如，IEEE（电气与电子工程师协会）发布的《合伦理设计》11中提出的8项原则之一即为“资质”（competence），该原则提出系统创建者应明确对操作者的要求，并且操作者应遵守安全有效操作所需的知识和技能的原则，这体现了从对使用者要求的角度来弥补人工智能不足的系统论视角，对智能时代的教育和培训提出了新需求。我国国家新一代人工智能治理专业委员会2019年发布的《新一代人工智能治理原则——发展负责任的人工智能》中，不仅强调了人工智能系统本身应该符合怎样的伦理原则，而且从更系统的角度提出了“治理原则”，即人工智能发展相关各方应遵循的8项原则；除了和谐友好、尊重隐私、安全可控等侧重于人工智能开放和应用的原则外，还专门强调了要“改善管理方式”，“加强人工智能教育及科普，提升弱势群体适应性，努力消除数字鸿沟”，“推动国际组织、政府部门、科研机构、教育机构、企业、社会组织、公众在人工智能发展与治理中的协调互动”等重要原则，体现出包含教育改革、伦理规范、技术支撑、法律规制、国际合作等多维度治理的“系统论”思维和多元共治的思想，提供了更加综合的人工智能治理框架和行动指南。基于人工智能治理的特殊性和复杂性，我国应在习近平总书记提出的“打造共建共治共享的社会治理格局”的指导下，系统性地思考人工智能的治理维度，建设多元共治的人工智能综合治理体系。
我国人工智能伦理治理对策
人工智能伦理治理是社会治理的重要组成部分。我国应在“共建共治共享”治理理论的指导下，以“包容审慎”为监管原则，以“系统论”为治理进路，逐渐建设形成多元主体参与、多维度、综合性的治理体系。
教育改革
教育是人类知识代际传递和能力培养的重要途径。通过国务院、教育部出台的多项措施，以及联合国教科文组织发布的《教育中的人工智能：可持续发展的机遇与挑战》、《人工智能与教育的北京共识》13等报告可以看到，国内外均开始重视教育的发展改革在人工智能技术发展和应用中有着不可或缺的作用。为更好地支撑人工智能发展和治理，应从4个方面进行完善：普及人工智能等前沿技术知识，提高公众认知，使公众理性对待人工智能；在科技工作者中加强人工智能伦理教育和职业伦理培训；为劳动者提供持续的终身教育体系，应对人工智能可能引发的失业问题；研究青少年教育变革，打破工业化时代传承下来的知识化教育的局限性，回应人工智能时代对人才的需求。
伦理规范
我国《新一代人工智能发展规划》中提到，“开展人工智能行为科学和伦理等问题研究，建立伦理道德多层次判断结构及人机协作的伦理框架”。同时，还需制定人工智能产品研发设计人员及日后使用人员的道德规范和行为守则，从源头到下游进行约束和引导。当前有5项重点工作可以开展：针对人工智能的重点领域，研究细化的伦理准则，形成具有可操作性的规范和建议。在宣传教育层面进行适当引导，进一步推动人工智能伦理共识的形成。推动科研机构和企业对人工智能伦理风险的认知和实践。充分发挥国家层面伦理委员会的作用，通过制定国家层面的人工智能伦理准则和推进计划，定期针对新业态、新应用评估伦理风险，以及定期评选人工智能行业最佳实践等多种方式，促进先进伦理风险评估控制经验的推广。推动人工智能科研院所和企业建立伦理委员会，领导人工智能伦理风险评估、监控和实时应对，使人工智能伦理考量贯穿在人工智能设计、研发和应用的全流程之中。
技术支撑
通过改进技术而降低伦理风险，是人工智能伦理治理的重要维度。当前，在科研、市场、法律等驱动下，许多科研机构和企业均开展了联邦学习、隐私计算等活动，以更好地保护个人隐私的技术研发；同时，对加强安全性、可解释性、公平性的人工智能算法，以及数据集异常检测、训练样本评估等技术研究，也提出了很多不同领域的伦理智能体的模型结构。当然，还应完善专利制度，明确算法相关发明的可专利性，进一步激励技术创新，以支撑符合伦理要求的人工智能系统设计。
此外，一些重点领域的推荐性标准制定工作也不容忽视。在人工智能标准制定中，应强化对人工智能伦理准则的贯彻和支撑，注重对隐私保护、安全性、可用性、可解释性、可追溯性、可问责性、评估和监管支撑技术等方面的标准制定，鼓励企业提出和公布自己的企业标准，并积极参与相关国际标准的建立，促进我国相关专利技术纳入国际标准，帮助我国在国际人工智能伦理准则及相关标准制定中提升话语权，并为我国企业在国际竞争中奠定更好的竞争优势。
法律规制
法律规制层面需要逐步发展数字人权、明晰责任分配、建立监管体系、实现法治与技术治理有机结合。在当前阶段，应积极推动《个人信息保护法》《数据安全法》的有效实施，开展自动驾驶领域的立法工作；并对重点领域的算法监管制度加强研究，区分不同的场景，探讨人工智能伦理风险评估、算法审计、数据集缺陷检测、算法认证等措施适用的必要性和前提条件，为下一步的立法做好理论和制度建议准备。
国际合作
当前，人类社会正步入智能时代，世界范围内人工智能领域的规则秩序正处于形成期。欧盟聚焦于人工智能价值观进行了许多研究，期望通过立法等方式，将欧洲的人权传统转化为其在人工智能发展中的新优势。美国对人工智能标准也尤为重视，特朗普于2019年2月发布“美国人工智能计划”行政令，要求白宫科技政策办公室（OSTP）和美国国家标准与技术研究院（NIST）等政府机构制定标准，指导开发可靠、稳健、可信、安全、简洁和可协作的人工智能系统，并呼吁主导国际人工智能标准的制定。
我国在人工智能科技领域处于世界前列，需要更加积极主动地应对人工智能伦理问题带来的挑战，在人工智能发展中承担相应的伦理责任；积极开展国际交流，参与相关国际管理政策及标准的制定，把握科技发展话语权；在最具代表性和突破性的科技力量中占据发展的制高点，为实现人工智能的全球治理作出积极贡献。
（作者：张兆翔、谭铁牛，中国科学院自动化研究所；张吉豫中国人民大学法学院；《中国科学院院刊》供稿）