中国信通院发布《人工智能安全框架（2023年）》
原标题：中国信通院发布《人工智能安全框架（2020年）》2020年12月9日在北京举办的“2020第三代人工智能产业论坛”上，中国信息通信研究院（以下简称“中国信通院”）安全研究所发布《人工智能安全框架（2020年）》蓝皮报告，中国信通院安全研究所信息安全研究部主任魏薇对报告进行了详细解读。
当前，随着全球人工智能规模化建设和应用加速，人工智能基础设施、设计研发以及融合应用面临的安全风险日益凸显。企业在设计研发、部署运营人工智能应用的全生命周期过程中，需要科学有效的人工智能安全框架予以指导。为此，在工业和信息化部网络安全管理局指导下，中国信通院联合瑞莱智慧、百度、腾讯、360、中科院信工所共同编制了《人工智能安全框架（2020年）》蓝皮报告。聚焦当前人工智能突出安全风险，提出涵盖人工智能安全目标，人工智能安全分级能力，以及人工智能安全技术和管理体系的人工智能安全框架。并且，描绘出面向人工智能应用关键核心组件，覆盖人工智能应用全生命周期的安全技术图谱，为人工智能相关企业循序渐进提升人工智能安全能力，部署人工智能安全技术措施，提供有益指引。
报告前言
人工智能作为引领新一轮科技革命和产业变革的战略性技术，正成为世界主要国家推动科技跨越式发展、实现产业优化升级、赢得全球竞争主动权的重要战略抓手。随着全球人工智能规模化建设和应用加速，人工智能基础设施、设计研发以及融合应用面临的安全风险日益凸显。世界主要国家纷纷通过制定人工智能伦理准则、完善法律法规和行业管理等方式开展人工智能安全治理。人工智能安全技术体系是人工智能安全治理的重要组成部分，是落实人工智能伦理规范和法律监管要求的重要支撑，是人工智能产业健康有序发展的重要保障。
人工智能安全框架是构建人工智能安全技术体系的重要指南，旨在为人工智能相关企业循序渐进提升安全能力、部署安全技术措施提供指导。在工业和信息化部网络安全管理局指导下，中国信通院联合瑞莱智慧、百度、腾讯、360、中科院信工所共同编制《人工智能安全框架（2020年）》蓝皮书。本蓝皮书针对全球人工智能安全框架缺失问题，凝聚业界专家共识，聚焦当前人工智能突出安全风险，提出涵盖人工智能安全目标，人工智能安全分级能力，以及人工智能安全技术和管理体系的人工智能安全框架，期待为社会各方提升人工智能安全防护能力提供有益参考。
报告目录
一、人工智能安全现状
展开全文(一)人工智能安全挑战
(二)人工智能风险地图
(三)人工智能安全技术现状
(四)人工智能安全框架缺失
二、人工智能安全框架
(一)设计思路
1.框架范围
2.设计原则
3.核心要素
(二)安全框架
(三)框架分析
1.安全目标
2.安全能力
3.安全技术
4.安全管理
三、人工智能安全技术实施
(一)业务安全
1.业务合规性评估
2.安全攻击检测
3.业务安全机制
4.恶意应用检测
(二)算法安全
1.算法鲁棒性增强
2.算法公平性保障
3.算法可解释性提升
4.算法知识产权保护
5.算法安全评测
(三)数据安全
1.数据隐私计算
2.数据追踪溯源
3.问题数据清洗
4.数据公平性增强
5.数据安全评测
(四)平台安全
1.漏洞挖掘修复
2.模型文件校验
3.框架平台安全部署
(五)安全技术图谱
四、人工智能重点应用安全防护实践
(一)自动驾驶安全防护
1.安全风险
2.安全防护
(二)智能信贷风控安全防护
1.安全风险
2.安全防护
(三)深度伪造应用安全防护
1.安全风险
2.安全防护
版权声明：本报告版权属于中国信息通信研究院，并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的，应注明“来源：中国信息通信研究院”。违反上述声明者，本院将追究其相关法律责任。
编辑|凌霄
”返回搜狐，查看更多
责任编辑：发展人工智能不能忽视安全
原标题：发展人工智能不能忽视安全全球新一轮科技革命和产业变革方兴未艾，而作为引领新一轮科技革命和产业变革的核心驱动力量之一，人工智能近年来被广泛应用于金融、电商、医疗等领域。
风生水起之余，人工智能产业也暗藏隐忧：随着全球人工智能规模化建设和应用的加速，人工智能基础设施、设计研发及融合应用面临的安全风险正日益凸显。由中国信息通信研究院联合瑞莱智慧RealAI、百度、腾讯等单位共同撰写的《人工智能安全框架（2020年）》显示，随着深度伪造技术开源代码、APP应用增多，不法分子利用深度伪造技术制作虚假视频侵犯个人肖像权、名誉权和隐私权的现象屡见不鲜。截至2019年12月份，全网流传的深度伪造视频中，虚假色情内容占比高达96%。
而这只是问题的冰山一角。指纹和人脸识别留下的生物特征信息、自动驾驶留下的个人行踪记录、手机APP保存的个人隐私数据，医院里留存的诊断治疗记录……人工智能跑步进入人们工作生活的众多场景，用户各种行为被记录并作为数据保存起来，由此带来的数据泄露、数据伪造、算法瓶颈、隐私安全、伦理困境等问题如今正一点点浮出水面。据有关报道，今年7月份就有不法分子在电商平台贩卖人脸信息，以5角钱一份的低价打包出售后，被盗的人脸信息被用于虚假注册、电信网络诈骗等违法犯罪活动。
尴尬的是，《人工智能安全框架（2020年）》显示，现阶段人工智能企业主要聚焦于技术研发和产品运营，在人工智能安全方面投入相对较少、基础薄弱。目前，人工智能安全技术多处于学术研究和少量试验试用阶段，尚未形成适用于各类人工智能应用的成熟安全产品和服务体系。
人工智能产业健康有序发展，安全是重要保障，是形势所需，也是一些技术落地不可或缺的前提。离开了安全谈人工智能，犹如无水之源、无本之木。实践也已证明，时下人工智能安全需求与企业安全投入不足以及人工智能安全产品服务欠缺之间的矛盾，正成为制约人工智能产业长远发展的瓶颈。
站在发展困境与时代机遇重叠的关键时刻，业界期待产学研各界协同合作，不断完善与升级出更安全、可信、可靠的人工智能技术，扎牢人工智能安全的篱笆，让人们能安心享受这一技术红利。
(责编：赵超、初梓瑞)分享让更多人看到
人工智能安全框架（2023年）
原标题：人工智能安全框架（2020年）|附下载作为引领新一轮科技革命和产业变革的战略性技术，人工智能正成为世界主要国家推动科技跨越式发展、实现产业优化升级、赢得全球竞争主动权的重要战略抓手。
近日，由工业和信息化部网络安全管理局指导，中国信通院联合瑞莱智慧、百度、腾讯、360、中科院信工所共同编制的《人工智能安全框架（2020年）》蓝皮书正式发布。人工智能安全框架是构建人工智能安全技术体系的重要指南，旨在为人工智能相关企业循序渐进提升安全能力、部署安全技术措施提供指导。
作为引领新一轮科技革命和产业变革的战略性技术，人工智能正成为世界主要国家推动科技跨越式发展、实现产业优化升级、赢得全球竞争主动权的重要战略抓手。随着全球人工智能规模化建设和应用加速，人工智能基础设施、设计研发以及融合应用面临的安全风险日益凸显。世界主要国家纷纷通过制定人工智能伦理准则、完善法律法规和行业管理等方式开展人工智能安全治理。人工智能安全技术体系是人工智能安全治理的重要组成部分，是落实人工智能伦理规范和法律监管要求的重要支撑，是人工智能产业健康有序发展的重要保障。
如需获取《人工智能安全框架（2020年）》完整版，请在本公众号后台回复关键字“AI安全”即可免费获取下载方式。
报告如下：
展开全文由于篇幅限制，如需获取《人工智能安全框架（2020年）》完整版，请在本公众号后台回复关键字“AI安全”即可免费获取下载方式。
12月22日，2020年度RFID行业盛会开启
一场大咖云集，别开生面的RFID行业盛会
足不出户，线上即可预约观看返回搜狐，查看更多
责任编辑：中国信通院联合RealAI发布《人工智能安全框架（2023年）》
摘要针对全球人工智能安全框架缺失问题，在工业和信息化部网络安全管理局指导下，中国信息通信研究院联合瑞莱智慧RealAI、百度、腾讯、360、中科院信工所共同编制《人工智能安全框架（2020年）》蓝皮书于此前正式发布，提出涵盖人工智能安全目标，人工智能安全分级能力，以及人工智能安全技术和管理体系的人工智能安全框架。
针对全球人工智能安全框架缺失问题，在工业和信息化部网络安全管理局指导下，中国信息通信研究院联合瑞莱智慧RealAI、百度、腾讯、360、中科院信工所共同编制《人工智能安全框架（2020年）》蓝皮书于此前正式发布，提出涵盖人工智能安全目标，人工智能安全分级能力，以及人工智能安全技术和管理体系的人工智能安全框架。
当前，随着全球人工智能规模化建设和应用的持续加速，人工智能基础设施、设计研发及融合应用面临的安全风险正日益凸显，保障人工智能应用安全可靠的需求日渐迫切。
虽然人工智能安全话题的社会关注度不断提升，学术界也在积极推动安全攻防、联邦学习、差分隐私机器学习、深度伪造检测等方向的安全技术创新，但目前针对人工智能安全问题的分析研究仍存在不足，比如针对人工智能可能面临哪些安全威胁，人工智能安全防御加固技术有哪些，面对新的安全威胁企业应如何部署安全能力等等内容少有涉及。
在传统网络安全领域，NIST网络安全框架、滑动标尺模型等能够很好的指导用户全面分析和解决网络安全问题。但目前在人工智能领域还缺少类似能够指引社会各方提升人工智能安全防护能力的框架。
因而，《人工智能安全框架（2020年）》蓝皮书（下文简称“《框架》”）被提出，遵从实用性、前瞻性和整体性的原则，从全局化、体系化的角度打造人工智能风险地图、人工智能安全框架、安全技术图谱，便于有效部署实施人工智能技术，以及指导社会各方构建人工智能安全防护体系。
一、人工智能风险地图
《框架》蓝皮书不单单只看人工智能安全风险表现，结合人工智能系统设计运营全流程，根据人工智能所处的不同生命周期阶段对安全风险进行划分，以地图的方式进行全局展示，一方面有利于更全详尽、更深入的剖析人工智能所面临的风险，另一方面也将有助于分析定位人工智能安全问题。
生命周期：根据国际标准化组织（ISO）对人工智能系统生命周期过程的划分，可以概括为初始、设计研发、检验验证、部署、运行监控、持续验证、重新评估、废弃八个阶段，分阶段描绘出人工智能存在的安全风险，用户可以根据自身情况有所侧重。
风险来源：针对不同阶段的不同风险表现，地图罗列出背后的风险来源，分析导致该风险发生的根本原因，便于用户从根源定位安全问题，从源头给出应对措施。
风险表现：目前人工智能在不同生命周期阶段会面临的安全问题。值得注意的是攻击者可以从多个环节进行攻击达到目的，例如算法后门即可在设计研发阶段通过修改训练数据植入，也可以在运行监控阶段通过篡改模型文件植入，人工智能技术使用方需要对安全威胁做通盘考虑。
二、人工智能安全框架
人工智能技术特点及安全风险与传统信息系统存在显著差异，传统网络安全框架无法直接适用于人工智能应用，但《框架》蓝皮书参考传统网络安全框架经验，围绕安全目标、安全能力、安全技术和安全管理四个维度，聚焦人工智能基础设施、设计研发以及应用行为决策过程中存在的安全风险，自顶向下、层层递进，为企业不断提升人工智能安全能力提供可遵循的迭代路径。
安全目标：明确人工智能安全目标将为人工智能安全防护工作的实施指明方向。本框架通过全面分析人工智能应用面临的安全风险，总结和提炼业界所提出的目标，最终从应用、功能、数据、决策、行为、事件六个方面明确安全目标。
安全能力：框架以滑动标尺为参考，按照安全能力建设难度逐级递增，以及安全资源投入产出比逐级递减的方式提出了人工智能安全能力分级叠加演进模型，规划为架构安全、设被动防御、主动防御、威胁情报和反制进攻五级人工智能安全能力。滑动标尺对企业安全能力建设的投入有指导性意义，比如从投入产出比的角度来看，用户应选择优先构建架构安全层面的能力，难度低、资源投入少，但安全能力提升最为显著。
安全技术：构建人工智能应用涉及人工智能业务、人工智能算法、人工智能训练数据和机器学习框架平台四大核心层面，为此解决人工智能安全问题也不能只停留其中一个层面，如仅考虑算法安全方面的问题，忽略了深度学习平台相关的漏洞，也有可能被攻击者找到突破口进而导致服务不可用等风险。本框架综合业务、算法、数据和平台四大层面所涉及的技术方法，完善了人工智能安全技术体系。
安全管理：除了安全技术外，组织建设也是达到安全目标的重中之重。企业需在法律法规、标准规范等指导下，在人工智能安全组织、人员和制度等方面具体开展实践。虽然目前有人工智能安全相关的标准正在研制中，但推动人工智能安全能力的有效落地，还需要国家和行业人工智能安全法律法规、行业政策、伦理规范、技术标准等方面的持续努力。
安全技术图谱
为便于企业有效部署实施人工智能业务、算法、数据和平台安全技术，《框架》描绘出完整的人工智能安全技术图谱，列举各环节建议部署的安全技术以应对不同阶段的安全问题。参照图谱，企业可结合自身业务特点选择应用合适的技术手段。
同时，针对不同的技术手段，《框架》列举了业届已成熟落地的方案或者最有代表性的研究工作，为企业提供应用参考，比如目前在增强算法鲁棒性、数据隐私计算领域应用较为成熟的数据增强与联邦学习技术，《框架》中作了详细介绍。
数据增强：通过模拟自然场景或对抗场景中可能出现的各类情况，支撑算法模型从数据中学习到相关特征提升算法鲁棒性，从而在各种场景下始终保持正常的性能水平。数据增强方法可用于提升算法自然鲁棒性。例如，可以通过旋转平移、添加自然噪声等模拟不同场景下的干扰数据，利用数据风格迁移生成不易收集的场景数据等方式生成训练数据提升模型鲁棒性。DanHendrycks等人开源的CorruptionandPerturbationRobustness提供了可用于训练测试的多种场景下的模拟数据。同时，数据增强方法也可以用于提升对抗鲁棒性。例如，可以生成预加固模型的对抗样本数据用于对抗训练提升算法模型鲁棒性。Madry等人将对抗样本数据与真实数据混合后进行对抗训练可大幅提升模型应对对抗样本攻击的表现，进而提升模型鲁棒性。
联邦学习：指在各参与方数据不出本地的情况下，通过加密机制下的参数交换方式进行数据联合训练建立共享机器学习模型的过程。针对不同的应用场景，联邦学习有多种模式可供选择。在用户特征维度重叠较多而用户重叠较少的情况下可采用横向联邦学习。在用户重叠较多而特征维度重叠较少的情况下可采用纵向联邦学习。在用户与用户特征维度重叠都较少的情况下采用联邦迁移学习方式。微众银行推出了能提供一站式联邦模型服务解决方案的FATE，覆盖横向联邦学习、纵向联邦学习和联邦迁移学习。腾讯T-Sec联邦学习方案能够有效提升联合建模场景下的安全性。瑞莱智慧发布的RealSecure在支持联邦学习核心特性的基础上，能够极大方便联邦学习算法开发和算法更新集成。
除此之外，《框架》还针对对抗样本攻击、模型后门、算法公平性、算法可解释性、数据隐私保护等问题给出了如鲁棒特征学习、模型自解释、算法公平性约束、多方安全计算、同态加密等在内的十余项热门安全加固防护技术的深入介绍。
随着人工智能安全风险日益凸显，在关乎人类生命安全、财产安全以及国家社会安全的部分领域，人工智能应用安全防护的相关防护已有所开展，例如自动驾驶、智能信贷风控和深度伪造是开展人工智能安全防护较为领先的三个领域。为便于企业借鉴已有人工智能安全防护经验，《框架》蓝皮书将结合行业实践案例阐述上述三个领域人工智能安全防护工作开展。
人工智能安全框架（2023年)附下载
原标题：人工智能安全框架（2020年)附下载前言
人工智能作为引领新一轮科技革命和产业变革的战略性技术，正成为世界主要国家推动科技跨越式发展、实现产业优化升级、赢得全球竞争主动权的重要战略抓手。随着全球人工智能规模化建设和应用加速，人工智能基础设施、设计研发以及融合应用面临的安全风险日益凸显。世界主要国家纷纷通过制定人工智能伦理准则、完善法律法规和行业管理等方式开展人工智能安全治理。人工智能安全技术体系是人工智能安全治理的重要组成部分，是落实人工智能伦理规范和法律监管要求的重要支撑，是人工智能产业健康有序发展的重要保障。
人工智能安全框架是构建人工智能安全技术体系的重要指南，旨在为人工智能相关企业循序渐进提升安全能力、部署安全技术措施提供指导。在工业和信息化部网络安全管理局指导下，中国信通院联合瑞莱智慧、百度、腾讯、360、中科院信工所共同编制《人工智能安全框架（2020年）》蓝皮书。
本蓝皮书针对全球人工智能安全框架缺失问题，凝聚业界专家共识，聚焦当前人工智能突出安全风险，提出涵盖人工智能安全目标，人工智能安全分级能力，以及人工智能安全技术和管理体系的人工智能安全框架，期待为社会各方提升人工智能安全防护能力提供有益参考。
以下是报告目录
下载完整版报告请关注:公众号《锋行链盟》返回搜狐，查看更多
责任编辑：