人工智能数据安全风险与治理
原标题：人工智能数据安全风险与治理随着人工智能的飞速发展，数据作为人工智能技术开发和应用的基础，愈发显示出重要的作用。然而，在人工智能开发和应用过程中，越来越多的数据在人们的生产和生活场景中被收集和利用，数据安全和隐私保护面临严峻的安全挑战。
来源|赛博研究院
近日，赛博研究院和上海观安信息技术股份有限公司共同发布了《人工智能数据安全风险与治理》报告（以下简称《报告》）。
《报告》对当前人工智能发展带来的数据安全风险进行了全面分析，并分别在政策法规和技术层面对目前国内外的相关应对举措进行了梳理。在此基础上，《报告》提出了人工智能数据安全治理的目标、框架及治理措施，总结国内外优秀实践案例，致力于为有效解决人工智能中的数据安全问题提供建议和思路。
报告如下
展开全文来源：数据观返回搜狐，查看更多
责任编辑：人工智能技术的潜在风险及预防对策研究论文
人工智能技术的潜在风险及预防对策研究论文wangdan2022-02-1710:24:34导读：人工智能作为一项新兴技术，其在形成与发展过程中会衍生出新的风险问题。为推动人工智能技术健康发展，有必要挖掘人工智能潜在风险致因，探索出人工智能技术潜在风险预防机制。基于
SCI论文（www.scipaper.net）:摘要：人工智能作为一项新兴技术，其在形成与发展过程中会衍生出新的风险问题。为推动人工智能技术健康发展，有必要挖掘人工智能潜在风险致因，探索出人工智能技术潜在风险预防机制。基于此，本文探讨了人工智能技术的潜在风险，分析了人工智能技术潜在风险致因，提出了人工智能技术潜在风险的预防对策。关键词：人工智能技术；风险及预防；对策
ResearchonPotentialRisksandPreventiveCountermeasuresofArtificialIntelligenceTechnologyWANGYichao1,TUHua2,LIZhi3(1.JiangxiAcademyofSciencesInstituteofScienceandTechnologyStrategy,NanchangJiangxi330000;2.JiangxiRadioandTelevisionStation,NanchangJiangxi330000;3.JiangxiOpenUniversity,NanchangJiangxi330000)【Abstract】：Asanemergingtechnology,artificialintelligencewillgeneratenewriskproblemsintheprocessofitsformationanddevelopment.Inordertopromotethehealthydevelopmentofartificialintelligencetechnology,itisnecessarytoexplorethepotentialriskcausesofartificialintelligenceandexplorethepotentialriskpreventionmechanismofartificialintelligencetechnology.Basedonthis,thispaperdiscussesthepotentialrisksofartificialintelligencetechnology,thepotentialriskcausesofartificialintelligencetechnologyareanalyzed,thepreventivecountermeasuresagainstthepotentialrisksofartificialintelligencetechnologyareputforward.【Keywords】：artificialintelligencetechnology;riskandprevention;countermeasure0引言近年来，在科技创新驱动战略的引领下我国人工智能技术获得长足发展，并与教育、社会治理、科研等各个领域进行纵深融合。但科学技术是一把双刃剑，以人工智能为代表的现代科技繁荣昌盛，一方面为社会生产及生活提供便利，另一方面会助推“风险社会”的形成。在人工智能技术发展过程中，其诱发的数据、算法及信息安全风险只是新兴技术风险的表面现象，如果从更深层面探究，站在技术与科学、社会、环境有机整合的视角审视人工智能技术，可以挖掘其对国家安全、公民隐私、社会治理、法律法理的威胁。唯有深层次分析人工智能技术的潜在危害风险，从多维度探索风险预防对策，才能从根本上规避人工智能技术体系风险。浏览大图1人工智能技术的潜在风险1.1信息茧房风险人工智能技术具有工具性特征，是社会治理、信息传输等多方面的新兴辅助工具。伴随着人工智能、大数据的兴起，新奇可获得性与议程的可进性降低了权利表达与施展成本，使得更多的公民有机会参与社会治理。但对于公众而言，其在通信运营商、网络运营商等有目的、有组织、有计划营造的拟态化交往空间内所获取的信息，大部分是经过人工智能等信息通信技术利用大数据分析所精心挑选的信息，即根据公众网页浏览Cookie、网络社交行为、网络交易数据等进行“用户画像”，向其提供个性化、精准化的信息。换言之，在人工智能等新兴技术所创设的网络空间内，人们只能获取“愉悦他们”的信息，结果陷入“信息茧房”，失去对社会环境的真实判断，因个人偏好与立场固守与其他圈子独立乃至对立的信息圈，可能导致人群分化、公民离散乃至社会碎裂[1]。1.2技术鸿沟风险人工智能作为先进、前沿的新兴技术，具有天然的排他性，自然而然地将社会技术生产单元划分为技术持有者与技术缺失者。技术持有者占据技术研发、产品生产、经济效益等各个技术方面得天独厚的优势，技术缺失者将因竞争实力薄弱逐渐被市场经济淘汰。因此，人工智能技术所带来的生产经济收益、所创造的社会财富，在不同公民群体、不同行业、不同企业之间的划分高度不均衡，掌握着技术优势与庞大资金的行业领域、市场主体会肆意侵占中小微主体的经济效益与社会红利，即使在主观层面无垄断、侵占意识，也会诱发技术鸿沟风险，导致社会资源分配不均衡、制约社会的和谐稳定。1.3法律法规风险法律法规是社会最底层的规范体系，从行为及事件后果的对象与危害性对人或组织进行行为约束。人工智能技术在于社会、环境等领域纵深融合的过程中，除为社会生产生活带来便利之外，诱发了更为多元的法律法规风险。如基于人工智能技术的“一键呼叫无人驾驶汽车”服务，乘客无需提交申请或审核资格，当出现安全事故后，如何界定安全事故的刑事责任，如何定罪处罚成为争议焦点。1.4伦理道德风险爱因斯坦曾言：“如果你想让你的终身工作有益于人类，仅仅知道如何应用科学是不够的。从始至终，对人的关心应该是你获取技术的主要目标。你应该将尚未解决的重大问题集中在如何组织人们工作及如何分配产品上，因为我们的科学成就造福于人类而不是祸害人类。”在传统的服务模式下，人们之间以和谐友善的沟通解决问题或消除矛盾。而在人工智能技术支撑下，传统的人工服务被机械设备所取代，人们相处时间缩短，沟通、信任等核心关怀价值遭到弱化，会引发伦理道德风险。1.5国家安全风险人工智能技术潜在风险之一便是可以作为影响公共政治意识形态的“武器”，从而威胁国家安全。如在军事领域，人工智能技术与军事装备结构的融合会增强部分国家的军事力量，且无人系统的全面应用将减少其战事人员损耗，对我国安全带来严重威胁。伴随着人工智能技术的逐渐成熟，智能产品生产成本显著降低，智能产品的获取更加便捷与容易，从而为反动势力带来可乘之机，如借助人工智能技术在网络上散布关于国家政治、经济等方面的谣言，引发社会恐慌，降低人们对我国政治体制的认同感等，会威胁国家信息安全。1.6社会治理风险（1）人工智能信息通信技术的日益繁荣及其在人们生产生活内的渗透，将人们社会交往的主阵地由线下转移至网络，且人工智能面向社会媒介的技术赋权改变了人们的信息接收与浏览习惯，在任意信息节点人们都可以对信息内容进行改造与再传播，有意或无意中便会引发不良舆论，加之我国网络社会治理体系尚不完善，治理资源匮乏，导致舆论借助人工智能技术及开放的网络空间不断发酵，加大社会舆论治理难度。（2）人工智能技术改变了传统产业结构，原本以人工为主的生产流程逐渐被智能化机械所替代，从而产生大量的结构性岗位事业，不利于社会的稳定和谐，容易诱发较为严重的社会治理风险[2]。2人工智能技术潜在风险致因分析2.1制度致因：制度建设滞后，伦理建设面临冲击人工智能技术冲击法律与道德规范体系从而诱发法律法规、伦理道德的根本原因在于人工智能风险防范及行为规制的法律制度建设滞后。如日前发生的某些交通出行与酒店服务平台利用人工智能的数据分析与算法功能对用户行为数据进行分析，预测用户收入及消费水平、交通出行与酒店订购需求从而对其实施“杀熟”行为，再如部分基于人工智能技术的社交平台有针对性地向用户投放虚假广告、交友信息等用以牟利。这些现象严重冲击我国伦理道德与社会行为规范建设。2.2技术致因：技术不确定性，新兴技术参差赋权以人工智能为代表的新兴技术自身具有较大的不确定性，且其发展与演进方向十分复杂，在人工智能技术产业化的过程中涉及到诸多利益主体，他们以众多方式吸引利益相关者参与新兴技术政策与制定与实施。在此过程中，新兴技术会增长治理某方的权力实施能力，即技术赋权[3]。人工智能技术所诱发的信息茧房、社会舆论失控、技术鸿沟风险的本质成因便是技术赋权。人工智能技术面向技术服务方、网络运营方赋权，其在信息供给上占据绝对优势，能够利用信息不对称、技术赋能进行精准的“用户画像”，为用户创造虚拟空间并向其提供感兴趣、契合其行为特征的信息，最终导致用户陷入“信息孤岛”；人工智能面向广大群众言论自由赋权，容易滋生网络谣言，加剧不良舆论发酵，进而导致舆论失控；人工智能面向“技术拥有者”赋权，提升其对技术掌控能力与支配权，从而导致垄断风险。2.3资源致因：资源配置失衡，多元主体利益分歧人工智能技术自诞生以来便扮演赋能产业链、影响价值分配、引发社会变革的多元角色，且在政策支持下获得长足发展。“科学是解决风险的资源”，人工智能作为现代社会最为关键的技术资源之一，因区域经济发展水平参差不齐、技术资本吸引力差异性，加之政府、市场、企业、社会、个人等多元主体之间尚未形成联动的技术发展模式，导致人工智能技术资源分配失衡，其所创造的经济效益、社会红利等在多主体之间的分配不均衡，尤其是人工智能技术专利多集中在资金实力雄厚、经济发展水平较高的区域，加大了区域间的经济差距，不利于社会的和谐稳定，从而诱发社会治理风险。3人工智能技术潜在风险的预防对策3.1加快建立人工智能等新兴技术风险防范与治理的法律法规体系（1）需将技术伦理立法摆在首位，基于当前我国组建的国家科技伦理委员会进一步完善顶层设计与法律条例，严厉打击以人工智能技术冲击伦理规范及社会公序良俗的行为；（2）完善人工智能等新兴技术风险的防范机制，不仅需要从技术层面识别与分析人工智能风险，还需要从公民行为、社会治理、政治体制、经济市场等多维度审视人工智能技术带来的深远影响与深刻变革，尽量将法律法规全面覆盖，对人工智能技术风险进行量化、科学与客观合理的评估，从而为后续的风险防范奠定基础；（3）出台前置性保护法律，结合人工智能技术风险评估结果规范人工智能技术风险防范司法与执法流程，从而以法律的强制性约束人工智能技术研发与使用行为。3.2健全人工智能等新兴技术的安全风险监测与防治全周期化管理伴随着时代的进步与社会的发展，人工智能技术将愈发成熟，其发展演进的不确定性、复杂性与不可预测性决定其风险的多元化与隐蔽性。因此，需健全人工智能等新兴技术的安全风险监测机制，在不与我国民法、行政法及刑法冲突，不违背社会公序良俗的前提下，对人工智能实行全过程、全覆盖、全链条、跟踪式监测研判人工智能技术发展前景，挖掘人工智能与产业链条的契合点，基于全域、全要素视角对其风险程度进行监测，并借助智慧监督执法流程、智慧风险救援体系等切实遏制人工智能技术风险。与此同时，基于人工智能技术发展全生命周期实行动态化风险管理策略，以定期巡检、重点抽查形式进行风险监测；以科学动态风险评价指标及数字化手段进行风险评估，以量化风险概率、精准计算风险程度、动态跟踪风险事件；以统筹规划司法与执法资源为核心形成人工智能技术风险治理机制[4]。3.3构建多方面协调的人工智能等新兴技术安全保障联动防护机制为解决人工智能技术资源层面风险问题，建议以政府为主导，以行业协会及骨干企业为核心建立人工智能技术联盟，就人工智能技术健康发展与产业赋能、人工智能技术风险预防及治理群策群力、达成共识，切实化解决多元主体利益冲突，促进人工智能技术成果与经验共建共享，以此消除技术鸿沟与技术垄断。同时，建立人工智能技术应用的申报审批与违规应用监管制度，准确研判人工智能技术可能带来的社会危害，针对人工智能设备取代传统劳动力这一现象与趋势加强社会公德及公民素养宣传，强化各领域人文精神，适度约束人工智能技术的应用。此外，提升人工智能技术风险的社会参与度，建立科学信息披露机制帮助广大群众熟悉人工智能技术风险情况，通过民主监督及治理降低社会危机事件与次级风险，并加强社会各治理主体的联动，从社会不同领域预防人工智能技术风险。4结语浏览大图人工智能技术的潜在风险包括信息茧房风险、技术鸿沟风险、法律法规风险、伦理道德风险、国家安全风险、社会治理风险。人工智能技术潜在风险的诱因体现在制度、技术与资源三个层面，为此应完善技术风险防范相关法律法规体系，健全技术风险监测与全周期化管理，构建多方面协调、多元主体联动的技术风险预防机制，从而降低人工智能技术诱发的社会危机与次级风险事件，促进人工智能技术的健康、稳定发展。参考文献[1]韩欣悦,聂洪涛.人工智能法律风险防范与研发者责任探讨[J].北京警察学院学报,2021(4):16-22.[2]姜涛.人工智能数据安全风险和有效治理措施[J].法制博览,2021(22):155-156.[3]赵志耘,徐峰,高芳,等.关于人工智能伦理风险的若干认识[J].中国软科学,2021(6):1-12.[4]李茂久,张静.人工智能危害风险的理性审视与治理体系研究[J].大连理工大学学报(社会科学版),2021(3):15-23.关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！
来源：SCI论文网
分享本文:分享到：微信新浪微博QQ空间QQ好友腾讯微博FacebookTwitter复制网址有道云笔记百度贴吧【名师纵横】“人工智能安全与隐私保护”专题责任编委老师推荐论文
【名师纵横】“人工智能安全与隐私保护”专题责任编委老师推荐论文信息安全研究
|2023-07-0411:44:18
0
“人工智能安全与隐私保护”为《信息安全研究》2023年第6期专题方向。本期专题的责任编委老师是中国科学院大学教授、博导，国家计算机网络入侵防范中心主任张玉清老师。
专题推荐论文
▶《ChatGPT在网络安全领域的应用、现状与趋势》
张弛（1）翁方宸（2）张玉清（1,2）
1.国家计算机网络入侵防范中心
2.海南大学网络空间安全学院
▶《大型语言模型内容检测算法和绕过机制研究》
叶露晨 范渊 王欣 阮文波
杭州安恒信息技术股份有限公司
《ChatGPT在网络安全领域的应用、现状与趋势》
论文推荐理由
ChatGPT作为一种大语言模型技术，展现出极强的语言理解和文本生成能力，不仅在各行各业受到巨大的关注，还为网络安全带来新的变革。依托于其强大的能力，ChatGPT广泛应用于安全领域，可提升安全领域的整体势能，起到赋能效应。但同时在ChatGPT的应用过程中也会不断有新的安全问题产生。目前，ChatGPT在网络安全领域的相关研究仍在起步阶段，如何更系统化地总结ChatGPT在网络安全领域的研究情况是目前亟待解决的问题。
论文提出ChatGPT在网络安全领域的赋能效应和安全问题的伴生效应，不仅从助力攻击和助力防御的角度讨论ChatGPT的安全赋能效应，还从内容风险和提示注入攻击角度讨论ChatGPT所伴生的安全风险。论文体系完整、论述严谨，研究选题有现实意义，对如何在网络安全领域开展ChatGPT应用进行了概述和展望。
责任编委点评
论文针对ChatGPT在网络安全领域的应用及其可能伴生的安全问题进行了归纳总结：概述了大型语言模型技术的发展，并对ChatGPT技术及其特点进行了简要介绍；详细介绍了ChatGPT在安全领域的赋能效应，从助力攻击和助力防御两个方面分析了ChatGPT在漏洞挖掘、利用和修复，恶意软件的检测和识别，钓鱼邮件的生成和检测以及安全运营场景下的潜在用途；深入剖析了ChatGPT在安全领域的伴生风险，包括ChatGPT的内容风险和提示注入攻击，并针对风险和攻击进行了详细的分析和探讨；从安全赋能和伴生安全两个角度，针对ChatGPT的能力、ChatGPT的应用场景、大语言模型的安全风险、提示注入攻击、基于语言模型的衍生应用存在安全风险以及对人工智能失控的担忧这6个方面进行总结归纳。论文对ChatGPT在网络安全领域的未来进行讨论和展望，具有重要参考价值。
论文主要内容
论文分为5章。在综合介绍ChatGPT的基础上，分析探讨了ChatGPT网络安全应用需求及现状，研究并设计了ChatGPT助力攻击和助力防御的安全赋能效应，阐述了ChatGPT在漏洞挖掘、利用和修复，恶意软件的检测和识别，钓鱼邮件的生成和检测以及安全运营场景下应用的关键技术。
《大型语言模型内容检测算法和绕过机制研究》
论文推荐理由
近年来大型语言模型技术兴起，类ChatGPT的AI机器人其功能及逻辑极为复杂，虽然其内部设置了大量的安全对抗机制，但越复杂的逻辑有越高的风险。针对ChatGPT在广泛应用下出现的逻辑绕过导致AI机器人成为攻击者的渠道和手段的问题，是目前待解决的问题。
论文研究了针对ChatGPT生成文本的检测思路，同时基于网络攻防的思路，给出了AI生成文本检测引擎设计策略，并针对检测方法，给出了一些绕过技巧。从鉴别的角度分析了逻辑绕过AI生成的安全问题，为学术研究和行业治理提供了可借鉴的探讨方向。
责任编委点评
论文收集了具有代表性的人类文本和AI文本，针对不同的先决条件，设计了4种文本检测场景，分别是文本相似度分析策略、数据挖掘分析策略、LLM生成方式对抗策略以及AI模型分析策略。文章站在攻防角度，做了对抗检测的绕过分析，并从实验得出，简单的数据挖掘和特征工程分析已经很难区分AI生成文本和人类文本之间的差异，同时训练一个AI模型来识别AI文本目前也存在诸多困难。实验得出使用文本相似度分析策略和LLM生成方式对抗策略设计检测算法效果较好，两者可以保持在一个较高的水平，有效识别出AI生成文本。使用检测技术进行安全漏洞模式分析和检测，在ChatGPT使用过程的源头发现安全问题并及时解决，可以更好保证ChatGPT的网络安全。
论文主要内容
论文包括5部分。通过构建人类文本和AI文本数据集设计了4种文本检测场景，指出AI生成文本和人类文本之间的差异极难区分，并模拟攻击者，针对Anti-ChatGPT的几种AI文本检测模型，实验是否能有效进行文本免杀，达到防止AI生成文本滥用的目的。
【本期责任编委·个人简介】
张玉清，中国科学院大学教授、博导，国家计算机网络入侵防范中心主任。主要从事网络与系统安全方面的研究。发表SCI/EI论文100余篇，其中包括IEEES&P、ACMCCS、USENIXSECURITY、IEEETransactionsonParallelandDistributedSystems(TPDS)、IEEETransactionsonCloudComputing(TCC)、INFOCOM等，制定国家及行业标准7个；先后承担国家重点研发计划项目、国家自然科学基金重点项目、国家发展和改革委信息安全专项、国家高科技发展计划（863）项目、中国科学院知识创新工程重要方向项目、国家242信息安全计划项目等课题。主要研究方向：网络攻击与防御、安全漏洞挖掘与利用、人工智能与安全、物联网安全等。
（查看论文原文可登录“信息安全研究”杂志官网）
特别声明：本文为人民日报新媒体平台“人民号”作者上传并发布，仅代表作者观点。人民日报提供信息发布平台。
分享到：0写下你的评论
评论热门评论{{item.app_user_name}}{{item.news_timestamp}}{{item.like_num}}赞{{item.content}}
最新评论{{item.app_user_name}}{{item.news_timestamp}}{{item.like_num}}赞{{++index}}{{cell.app_user_name}}{{cell.news_timestamp}}{{cell.like_num}}赞{{cell.content}}
{{item.content}}
已加载全部内容