基于人工智能的网络空间安全防御战略研究
[1] 方滨兴.人工智能安全[M].北京：电子工业出版社,2020.FangBX.Artificialintelligencesecurityandsafety[M].Beijing:PublishingHouseofElectronicsIndustry,2020.
[2] 贾焰,方滨兴.网络安全态势感知[M].北京：电子工业出版社，2020.JiaY,FangBX.Networksecuritysituationawareness[M].Beijing:PublishingHouseofElectronicsIndustry,2020.
[3] VeeramachaneniK,ArnaldoI,KorrapatiV,etal.AI2:Trainingabigdatamachinetodefend[C].NewYork:IEEE2ndInternationalConferenceonBigDataSecurityonCloud(BigDataSecurity),IEEEInternationalConferenceonHighPerformanceandSmartComputing(HPSC)andIEEEInternationalConferenceonIntelligentDataandSecurity(IDS),2016.
[4] HendlerD,KelsS,RubinA.Detectingmaliciouspowershellcommandsusingdeepneuralnetworks[C].Incheon:ACMAsiaConferenceonComputerandCommunicationsSecurity,2018.
[5] ManèsVJM,HanH,HanC,etal.Theart,science,andengineeringoffuzzing:Asurvey[J].IEEETransactionsonSoftwareEngineering,2019.doi:10.1109/TSE.2019.2946563.
[6] BrooksTN.Surveyofautomatedvulnerabilitydetectionandexploitgenerationtechniquesincyberreasoningsystems[EB/OL].(2017-02-20)[2021-02-28].https://arxiv.org/abs/1702.06162.链接1
[7] CapturetheFlag[EB/OL].[2021-02-28].https://defcon.org/html/defcon-24/dc-24-ctf.html(2016DefconCTFFinalScores).链接1
[8] FortinetFortiGuardLabs2018ThreatLandscapePredictions[EB/OL].(2017-11-14)[2021-02-28].https://www.fortinet.com/blog/business-and-technology/fortinet-fortiguard-2018-threatlandscape-predictions.html(Prediction:TheriseofHivenetsandSwarmbots).链接1
[9] KiratD,JangJY,StoecklinMP.DeepLocker-concealingtargetedattackswithAIlocksmithing[EB/OL].(2018-08-09)[2021-02-28].https://i.blackhat.com/us-18/Thu-August-9/us-18-KiratDeepLocker-Concealing-Targeted-Attacks-with-AI-Locksmithing.pdf.链接1
[10] HuWW,TanY.Generatingadversarialmalwareexamplesforblack-boxattacksbasedongAN[DB/OL].(2017-02-20)[2021-02-28].https://arxiv.org/pdf/1702.05983.pdf.链接1
[11] GuZQ,HuWX,ZhangCJ,etal.GradientShielding:TowardsUnderstandingVulnerabilityofDeepNeuralNetworks[J].IEEETransactionsonNetworkScienceandEngineering(EarlyAccess),2020.doi:10.1109/TNSE.2020.2996738.链接1
[12] GuZQ,CaiYY,WangS,etal.AdversarialAttacksonContentBasedFilteringJournalRecommenderSystems[J].Computers,Materials&Continua,2020,64(3):1755–1770.链接1
[13] ShokriR,StronatiM,SongCZ,etal.Membershipinferenceattacksagainstmachinelearningmodels[C].SanJose:IEEESymposiumonSecurityandPrivacy,2017.
[14] ZhangYH,JiaRX,PeiHZ,etal.Thesecretrevealer:Generativemodel-inversionattacksagainstdeepneuralnetworks[C].Seattle:IEEEConferenceonComputerVisionandPatternRecognition,2020.
[15] JiS,PanS,CambriaE,etal.Asurveyonknowledgegraphs:Representation,acquisitionandapplications.[DB/OL].(2020-02-02)[2021-02-28].https://arxiv.org/abs/2002.00388.链接1
[16] JiaY,GuZQ,LiA,etal.(Eds).MDATA:Anewknowledgerepresentationmodel[M].Switzerland:SpringerInternationalPublishing,2021.
[17] HintonGE.Learningmultiplelayersofrepresentation[J].TrendsinCognitiveSciences,2007,11(10):428–434.链接1
[18] JiaY,QiY,ShangH,etal.Apracticalapproachtoconstructingaknowledgegraphforcybersecurity[J].Engineering,2018,4(1):53–60.链接1
[19] QiY,ZhongJ,JiangR,etal.FSM-basedcybersecuritystatusanalysismethod[C].Hangzhou:IEEEFourthInternationalConferenceonDataScienceinCyberspace(DSC),2019.
分论坛五｜人工智能与数据安全
2020年12月19日上午，首届清华大学人工智能合作与治理国际论坛举行了“人工智能与数据安全”分论坛，由北京智源人工智能研究院承办。在分论坛上，学者与产业专家聚焦讨论了数据与人工智能的近期与远期风险与安全挑战及对策。剑桥大学智能未来研究中心研究员丹尼特·加尔（DanitGal）重点总结了人工智能安全相关的内部风险与外部防御的近期挑战，并对各国数据规制应当形成全球协作提出建议。荷兰埃因霍温科技大学教授文森特·穆勒（VincentMuller）指出通用人工智能和超级智能的长远风险具有极大不确定性。美国路易斯维尔大学教授罗曼·扬波尔斯基（RomanYampolskiy）谈及人工智能、安全和防御的未来，并表达了对于人工智能的担忧。奇虎360人工智能研究院院长邓亚峰、数据科学家麻丹彤、腾讯研究院高级研究员曹建峰、北京师范大学网络法治国际中心执行主任吴沈括也分别就人工智能与数据安全、面临的机遇、挑战和发展趋势等发表了一系列前瞻洞见。与会专家一致表示，全球应当深度协作应对数据与人工智能的近期与长远风险。分论坛由北京智源人工智能研究院人工智能伦理与可持续发展中心主任、中科院自动化所中英人工智能伦理与治理中心主任曾毅主持。
此次论坛得到了清华大学人工智能研究院、清华大学智能产业研究院、清华大学战略与安全研究中心、北京智源人工智能研究院、清华大学中国科技政策研究中心、清华大学科技发展与治理研究中心、美国布鲁金斯学会、SPARK联合国开发计划署可持续发展创新实验室以及清华大学产业发展与环境治理研究中心等机构的合作与支持。
专家观点
（根据首届清华大学人工智能发展与治理国际论坛上的专家发言整理）
1.丹尼特·加尔(DanitGal)：人工智能安全相关的内部风险与外部防御
新兴科技影响着我们所有人，它的安全和保障也是如此。可悲的是，我们应对新兴科技影响的能力远远落后于科学技术的开发和使用。科技快速发展带来的不确定性和社会风险，往往是全面且不可逆的，危害程度也非常高。
人工智能相关的自动化趋势，其实存在一种“悖论”：机器越能干，对操作者的技能要求和熟练度程度就越高：其一，有能力和直觉的系统通过自动纠正我们的错误来适应人类的无能；其二，这种能力消除了人类实践的需要，因此即使是熟练的操作人员也可以脱离实践；其三，当系统确实发生故障时，它会以意想不到的方式发生故障，或者产生意想不到的情况，需要熟练的人工处理才能恢复过来。针对自动化引起的安全问题，电气与电子工程师协会标准协会（IEEESA）正在制定自治和半自治系统的故障安全设计标准。该标准为在自治和半自治系统中开发，实施和使用有效的故障安全机制建立了特定方法和工具的实用技术基准。该标准包括（但不限于）：用于测量，测试和认证系统从弱到强的安全失效能力的清晰程序，以及在性能不令人满意的情况下进行改进的说明。该标准是开发人员以及用户和监管者以健壮，透明和负责任的方式设计故障安全机制的基础。
人工智能和数据流进一步复杂化了这一动态，引入并连接了新的机会和新的漏洞。当人们通过互联网和人工智能系统连接到社会系统之中时，系统的脆弱性被放大了。其一，技术及其前景和危险不可能被地缘政治边界完全遏制；其二，现有的漏洞被人工智能和数据流放大了，引入了新的故障点，安全隐患就此埋下；其三，这些故障的传播范围很广，通常是不可见的，影响着全球连接的网络；其四，我们没有全球机制来确定和共同开发技术和社会解决方案。因此，我们必须投资于全球合作与协调，以减少脆弱性，同时最大限度地扩大机会。
2.文森特·穆勒（VincentMuller）：超级智能终将引致存在性风险
超级智能（Superintelligence）将带来技术奇点（Singularity），进而让人类面临“存在性风险”（X-risk：existentialrisk）。所谓“存在性风险”，是指以Musk和霍金为代表的这些人最害怕的是人工智能将威胁人类在地球上的生存与存在。
超级智能（Superintelligence）将带来技术奇点（Singularity）建立在诸多假设的基础上。第一个基础假设是，运算速度的提升、数据量的无限膨胀、潜在技术能力的进一步释放。当第一台超智能机器诞生时，就注定了这一台机器是人类最不需要的发明。因此，人类要在开发人工智能时，需要不时反问自身，只要机器足够温顺，能告诉我们如何控制它。第二个基础假设是，认知科学不再是发展人工智能技术所必须考虑的基础问题了，虽然，技术设计者面临“常识知识不简单，复杂问题不困难”的悖论。第三个基础假设是，在诸多感知领域，人工智能的专项技能的性能表现已经超越了人类器官。也就是说，至少在生活中的部分领域出现了人类级别的机器智能，甚至是超人类级别的机器智能。对人类身体技能的全面超越，就目前的技术发展趋势，完全有可能。
从技术奇点到生存性危机同样需要基于以下两个基础假设。第一个基础假设是，理性主体决策理论适用于人工智能。当人类还囿于情绪、无意识等自身因素时，人工智能做出的选择，永远是理性选择，即具有最大主观期望效用的是理性的，期望效用=效用*概率。决策理论是规范性的，而不是描述性的。但对于传统AI来说是规范和描述性的。科学上重要但被忽视的问题：极高的效用*低的可能性，也可以被人工智能充分利用，甚至构建出来。第二个基础假设为正交性假设。即智慧和道德，对于人工智能而言，是完全不同的两个话语维度。也就是说，在技术奇点出现之后，在人工智能的眼中，智力和最终的道德目标是正交的坐标轴，在这条坐标系中，可能的代理可以自由地变化。换句话说，或多或少，任何水平的智力在原则上都可以与各种的任何最终目标（无论其道德或者不道德）相结合。正交性理论暗示，合成大脑可以拥有完全非拟人化的目的，就像我们眼中的沙粒计数或剪纸夹最大化一样古怪。也就是说，超级智能极有可能是不道德的。
奇点之后，人们需要无时不刻的与人工智能处于一种链接状态，上传自己的一切数据，然后被机器决定。人类将无法控制事态的发展，无法面对自身生存的风险。当机器全面接管之后，人类注定要灭亡。
3.罗曼·扬波尔斯基（RomanYampolskiy）：人工智能安全和防御的未来
当前超级智能正在来临，超级智能意味着超级聪明（SuperSmart）、超级复杂（SuperComplex）、超级快速（SuperFast）、超级控制（SuperControlling）、超级病毒（SuperViruses）。为了解决人类关于人工智能的忧惧，目前，有几项非常值得关注的研究工作，包括通往危险的人工智能的路径分类学、人工智能安全不可能的结果、缓解负面影响、人工智能的限制问题等。他认为，人工智能失败的时间轴，呈指数趋势，人工智能失败的频率和严重程度都会增加，这与人工智能的能力成比例。
超级智能的超级聪明在特定领域变现的尤为明显：AlphaGo系列战胜围棋世界冠军、IBM的沃森在“危险边缘”竞赛中战神两期冠军、虚拟机器人在德州扑克中战胜多名玩家、模拟算法在团队电子游戏Dota2中战胜世界冠军团队等等。
超级智能在复杂系统中的行为更是难以追踪。在航空控制和航空驾驶中，面对复杂的系统，飞机操作人员或飞行员中很少有人了解那部分软件；但是，对于超级智能而言，却是非常轻松胜任操作工作，但是，其复杂程度已然超过了顶级飞行员的理解能力。
超级智能的运算速度明显强于人类。当人类将决策赋权为机器智能后，超级智能可能在极其短暂的时间内做出大量的决策，其结果可能是毁灭式的。根据ScientificReports中的陈述表明：2008年金融危机的起因极有可能是华尔街的超级计算机20秒内大规模的自动量化交易引起的美国当地股市大崩盘。
随着越来越多的产业加速其数字化进程，超级智能展现出越来越强大的控制能力——“超级控制”的概念被多次提及。例如在能源领域，机器智能越来多地出现在核电站的管理中；智能电网对供电网络的全面升级；金融领域中，目前75%以上的交易订单由自动交易系统产生；在军事领域中，人脸识别技术等人工智能被运用到武器开发中，出现了新型智能武器，同时，智能监控系统、自动发射系统也被用到武器自动控制中；在航空领域，超级智能的自动化，可以实现不间断自动巡航系统，在增强安全性能的同时极大地降低了人力成本。
随着智能化程序的诞生，计算机病毒也随之“水涨船高”，出现了各种超级病毒。自互联网时代以来，超级病毒层出不穷。例如，通过MicrosoftOutlook电子邮件系统传播的爱虫病毒（ILOVEYOU）、通过软件之间的相互拷贝、盗版光盘的使用和Internet的传播而大面积传染CIH病毒、“黑色星期五”等病毒，而且，随着人工智能的出现，很多病毒开始与智能化程序相结合的趋势，增强了计算机病毒深入各类机器系统的能力，其潜在风险逐步加大。
在面对超级智能带来的超级聪明、超级复杂、超级快速、超级控制、超级病毒等人类不可控的情景时，来自产业界、政界或学界的专家学者纷纷表达出各种担忧。而且，通过危险人工智能的分类学研究，可以发现，按照应对危险的部署逻辑时段和主导因素两位维度，可以将超级智能危险分为8类：不道德的人（黑客，罪犯，军人，公司，政府，邪教，精神病患者等等）故意危险行为、低劣技术设计（程序漏洞BUG，错误的赋值，错误的数据，错误的目标）的副作用、系统周围环境的突发案例或影响（软件错误、对外星智能的探索SETI）、失控的自我完善过程（违背道德的目标转向、突发状况）。
为了缓解超级智能的负面影响，从计算机诞生之日起，也伴随着诞生了形形色色的解决方案。显然，限制人工智能的限制并不可取，但是，保留“重新设置”的权力确实非常有必要，因为人工智能失败的频率和严重程度都会增加，该频率和严重程度与人工智能的能力成比例。
4.邓亚峰：正视人工智能风险，乐观拥抱未来
近年来，随着深度学习技术的迅猛发展，人工智能在社会经济的各个领域都取得了巨大进步。比如，最近AlphaFold在蛋白质结构预测领域的进步又一次震惊了世界。我们身处一个数字化、智能化的时代，人工智能已迎来了应用落地发展的时代契机，对整个人类世界而言，人工智能已成为新一轮产业变革的核心驱动力量。但是，随着人工智能和大数据技术的应用落地，特别是在诸多安全敏感型的场景应用越来越多，比如自动驾驶、人脸识别、恶意代码检测、医疗诊断等，AI和数据安全问题也受到世界的广泛关注。
首先，由于人工智能是快速出现的新应用，AI应用生产和部署的各个环节都暴露出了一系列的安全风险。比如在人工智能框架方面，深度学习框架及依赖组件可能带有漏洞，存在着容易被忽视的安全隐患；在人工智能应用方面，存在着模型文件窃取、数据流的降维攻击等安全风险；在人工智能硬件方面，存在传感器干扰实现欺骗、致盲，海豚音攻击等安全风险；在人工智能算法方面，由于神经网络模型的黑盒属性（不可解释性），导致了一系列以模型误判为目标的恶意攻击，如投毒攻击、逃逸攻击、后门攻击、对抗样本攻击等。
其次，人工智能和大数据应用往往与大量隐私数据关联，这些数据往往需要被送到云端进行分析和计算，这就造成了比原来更严重的数据泄露和安全风险。我们在实践中就发现了大量以隐私窃取为目标的攻击，如模型反转攻击、模型萃取攻击、成员推断攻击等。而且，随着数字化的程度加深，物理空间和虚拟空间已经打通，安全问题将不区分虚拟还是物理空间，而且是全局性、规模化的。
其三，虽然从技术角度看，人工智能体很长一段时间都无法拥有真正的自我意识，但是，我们无法排除一些坏人会对人工智能加以利用，伪装为坏的AI对人类安全造成威胁的可能。而这会带来大量的社会伦理问题，比如无人驾驶汽车出了问题，到底是AI的问题，是汽车厂商的责任，还是车主的责任。这样的话题还有非常多。这也从社会伦理层面，在人工智能和数据治理方面，产生了很多复杂问题。在英国的电视剧《黑镜》中，就体现了大量人工智能带来的威胁，这在以后的世界中确实会存在。
其四，由于AI在短期内会造成一部分从事简单重复性工作的人类失业，这会引起一定的恐慌和排斥。此外，AI也因为技术的不成熟，会被认为在识别结果上存在一定的歧视，当然，作为一个技术人员，相信结果的不完美并不是故意歧视，只是数据分布造成的不够完美。这些也是AI带来的短期问题。
当然还有很多其他潜在的威胁，在此不再赘述。
正是由于人工智能和数据的治理速度远远落后于人工智能和数据的应用速度，全球的每个组织和个人都有很多可以为此做的事情。首先，需要相关国家和组织联合起来，针对隐私保护和人工智能伦理问题等新情况，制定更加明晰有效的法律法规，保证在应用人工智能为人类造福的同时，保护数据隐私，避免相关社会伦理问题的困扰；其次，需要构建统一的人工智能硬件、软件、算法的安全评估标准和准则，并开发相关的系统，用于检测和确定人工智能相关的系统的整体安全，特别是开源框架和软件方面，更需要统一行动；再次，针对人工智能的安全，以及用人工智能解决安全问题等领域，需要联合起来，用更加开放协同的方式进行科学研究和技术交流，推动在上述两个方面人工智能技术更快速的落地。人工智能和数据安全，是全世界都统一面临的问题，需要全世界的组织和个人联合起来一起行动。
5.麻丹彤：数据安全是全球性的，需要各国合作解决
在过去的几年中，我在私营和公共部门从事AI方面的工作，我发现了一个有趣的现象：关于人工智能竞争的讨论很多，但关于人工智能治理协作的讨论还远远不够。让我感到担忧，因为零和心态可能会导致竞争加剧。
数据安全性是全球性的。因为创建漏洞和邀请攻击只需要一个弱点。
在这一方面，中国取得了长足的进步。10月，发布了《个人信息保护法》草案。它与全球个人数据保护方法高度一致。中国是技术提供商和消费者最大的市场之一。因此，中国为适应全球趋势而进行的立法努力是维护数据治理全球标准的有意义的举措。
6.曹建峰：人工智能开发与隐私保护存在紧张关系
人工智能产生偏差的原因多种多样，比较突出的原因是数据与算法。众所周知，要使当前的人工智能系统正常工作，您必须使用大量数据来训练算法。如果您的训练数据有偏差，或者包含的数据不够充分，您的系统在以后的使用中将显示有偏差的行为。许多人工智能系统，包括面部识别，聊天机器人，推荐系统，广告算法，招聘人工智能工具，语音识别，都因显示出对某些人或某些人群的偏见而受到批评。人口偏见是最突出的偏见，例如对种族，性别和年龄的偏见。至于偏差的来源，数据是人工智能偏差的最重要来源。因此，我认为开发应该对数据质量进行合理的控制。但是数据并不是造成偏差的唯一原因。
人工智能产生偏差的另一个重要原因是不法分子的滥用和非法使用。最突出的例子也许是deepfake。因此，在特殊的AI算法（称为生成对抗网络）的驱动下，deepfake可以生成面部，声音和视频，而无需真实的人实际说出来或在现实中做。但是，Deepfake的概念是对AI技术背后的误解。因此，我们认为深度综合是一个更好的术语。因为它有许多积极的应用。例如，这项技术可以将已经过世的演员重新带入电影中。由于真正的演员必须待在家里，因此它还可以创建数字虚拟演员来参与大流行中的电影拍摄。也许将来我们会拥有超级巨星虚拟演员，因为我们现在有许多著名的虚拟歌手。合成语音还支持许多语音助手应用程序。但是，如果不采取适当的保护措施，恶意参与者可以将Deepfake技术用于非法活动，例如欺诈，色情复仇，伪造身份，伪造新闻和虚假信息。例如，十月份，用户使用Telegram上的deepfake僵尸程序轻松制作和传播伪造的裸体图片。不良行为者也可能出于非法或不道德目的滥用或使用其他人工智能技术。
为解决这些问题，可以从以下四点方面着手：其一，人工智能与数据产品开发需要遵循“通过设计的伦理”（ethicsbydesign）理念，将公平、安全等伦理价值融入产品设计全周期，并有防止滥用的保障措施；二是在企业、国家乃至国际层面建立负责任的人工智能开发和数据使用的道德准则；三是在国际社会分享最佳实践经验；四是业界需要探索开发隐私保护型的AI技术方法，如联邦学习等，来在隐私保护与数据利用之间实现更好平衡。
7.吴沈括：国际社会需面对数据违法行为带来的法律漏洞
在AI时代，当前的数据冲突已遍及全球。按照这种观点，国际社会需要直面新技术环境中数据违规所带来的新挑战和法律空白，可以肯定的有以下几点：第一，不同地区和国家法律法规的缺失和差异，导致对新型数据违规的司法监管不足；第二，各国当前的法律制度框架尚不能完全确保快速，有效的跨境证据收集和交换；第三，在一些国家，监控，早期预警和应急机制变得越来越难以有效应对网络匿名环境下脆弱性问题的迅速增长。
在全球化深入发展的新时代，数据违规的跨国发展要求更高水平的国际合作管理，以应对日益严重的数据违规性。从这个意义上讲，我们可以考虑的方法选项包括3个元素：首先，我们必须在最大范围内建立国际共识，并积极构建全球法律框架，例如针对数据违约的国际条约，其重点是与责任标准，管辖权协调，信息共享，司法协助有关的系统规范设计等等。其次，我们需要最大程度地学习最佳做法，并及时创新跨国合作机制。特别是，迫切需要改进的是网络威胁信息共享和证据保留方面的通用跨国惯例。最后，我们应加强所有利益相关者的能力建设。为此，关键是要通过各种手段（例如人员培训和技术设备）更好地整合和增强诸如执法机构，行业以及公民社区等多个学科的商业技术知识和实践技能。从这个意义上说，我们高度赞赏国际社会近年来不断加强其反数据违反工作，而众多的全球对话平台是促进全球国家协同治理与多元治理的一个突出代表。
2023年度全球人工智能治理趋势盘点 (完整版）
自2017年以来，加拿大、美国、中国、英国、新加坡、韩国、加拿大、欧盟、经合组织等国家或地区已陆续发布人工智能发展原则和治理准则。在2021年度，全球范围内关于人工智能治理的准则和战略进一步深化和具体，各国和地区不再仅局限于制定宏观层面的指导战略，而是日益细化至各个具体层面。美国为了确保其在人工智能领域的全球领导地位，在2021年度出台的与人工智能相关的立法和研究政策显著增加。不仅通过了国家层面的人工智能战略——2021年国家人工智能倡议法案，还正式成立了国家人工智能倡议办公室，该办公室旨在负责实施美国的人工智能国家战略，并监督和协调联邦政府与私营部门之间的研究工作。美国国家人工智能安全委员会（NSCAI）还发布了《人工智能国家安全委员会最终报告》，该报告是NSCAI为美国赢得人工智能时代的竞争而提出的战略。此外，于2021年6月8日投票《美国创新与竞争法》明确指出要通过投资来提高美国在技术领域应对中国带来的竞争的能力，并且将人工智能、机器学习等列为重点关注的关键技术。在白宫科学技术政策办公室（OSTP）和国家科学基金会（NSF）牵头之下，美国还宣布成立了国家人工智能研究资源工作组，该小组将帮助创建一个共享的国家人工智能研究基础设施，提供可访问的计算资源、高质量数据、教育工具和用户支持。而针对具体的治理领域，美国也陆续推出了一系列举措。例如，在算法治理方面，美国政府问责局（GAO）在2021年6月发布了一份确保联邦机构和其他参与人工智能系统设计、开发、部署和持续监控的实体可以负责任地使用人工智能的报告。OSTP则在2021年11月10日表示，将举办一系列活动让美国公众参与到制定与算法治理有关的法案的过程。美国国家人工智能倡议办公室主任LynneParker表示，美国在人工智能算法监管方面的愿景以欧盟的《通用数据保护条例》(GDPR)为蓝本。为了解决算法透明度和公平性方面的问题，美国联邦贸易委员会（FTC）在2021年4月发布了指南，该指南强调了FTC计划在影响消费者的算法决策方面执行透明度和公平原则的决心。在国家安全方面，美国国防部国防创新部门于2021年11月14日发布了“负责任的AI指南”，为第三方开发人员构建军用AI提供了指导。在保障劳动力就业方面，美国平等就业机会委员会（EEOC）表示该机构计划审查人工智能工具和技术如何应用于就业决策，以及旨在指导雇主公平使用人工智能技术，遵守联邦平等就业机会法。在面部识别和个人隐私方面，部分民主党参议员在2021年6月提出了暂停面部识别和生物识别技术的法案。在技术发展方面，美国国土安全部科学技术局发布了《人工智能与机器学习战略计划》，该计划提出了未来三大战略目标，即推动用于跨领域国土安全能力的下一代人工智能和机器学习技术发展；促进在国土安全任务中使用经过验证的人工智能与机器学习能力；以及建立经人工智能与机器学习技术培训的跨学科员工队伍。人工智能与数据隐私保护
随着大数据和云计算技术的深入应用，人工智能时代的机器学习和深度学习更需日益增长的数据，因此数据安全与隐私保护变得更加迫切。
随着人工智能技术的发展，公民的隐私数据被记录越来越多，大数据厂商对一个人了解越深，越容易掌握更多个人信息数据。各行各业对数据的重视程度很高，都利用数据进行相关分析和挖掘，做出最佳决策，但也出现很多问题：一是个人用户的数据安全和隐私保护意识不强，随意注册平台账号；二是企业对数据的安全和用户隐私保护不重视，企业收集的信息随意被其他合作单位获取；三是数据安全与公民隐私信息保护法律不健全；四是监管跟不上技术进步，导致技术失控带来数据安全和隐私保护隐患。
在各行各业，大数据应用规模不断增大，安全隐私保护难度也越发增加，用户个人行为数据在收集和统计过程中存在隐私泄露的问题。除了隐私保护外，工作人员的状态及行为都可能对数据带来不安全影响。
大数据的共享带来了不容忽视的数据隐私安全问题。在人工智能时代，隐私数据由于经济利益或其他原因被扩散后，使得各种侵权行为极易发生。泄露的隐私数据在数据科学技术的分析、提炼、挖掘下将隐私数据用于精准广告营销。因此在大数据使用量上必须进行一定的控制，对大数据进行权限管理、对角色进行行为限定。
用户信息被贩卖、隐私被敲诈勒索、银行卡被盗刷等问题，表明隐私保护不是一个单独的问题，而是需要国家政策层面、行业企业自律、用户个人意识等多个层面来保护：一是国家出台法律法规是维护市场和公民合法权益的根本保障；二是企业加强自律，肩负社会责任和坚守法律底线，尽量要求所有APP等程序采集用户数据坚持“最少采集”原则，合理采集和利用；三是增强用户个人的隐私保护意识；四是提高隐私保护技术，着眼开发研究新的安全技术，从技术上保护隐私，认真分析大数据环境中的漏洞，有针对性地进行隐私保护技术研发，通过对数据溯源、数据水印、身份认证、数据匿名发布等研究，开发出适合人工智能时代高效、安全、可靠的隐私保护技术。
（《科普时报》 3.6）
2023年中国面向人工智能的数据治理行业研究报告
报告简介《2022年中国面向人工智能的数据治理行业研究报告》以数据和数据治理为前言，在AI技术创新应用和AI数据需求引发二次治理的趋势背景下，推出“面向人工智能的数据治理”概念，以体系搭建、行业规模、受益圈节奏与参与立足点等维度展开分析探讨，并以金融、零售、医疗和工业四大行业为实践，从需求侧角度对数据治理体系搭建给到指引。未来，数据的安全合规要求与自我治理进化实现将成为数据管理的核心布局方向之一。
目录一、前言：数据与数据治理1.1数据：范围界定1.2数据量：爆发式增长1.3数据治理：需求释放1.4数据治理：范围界定1.5数据治理：整体概述1.6数据治理：体系架构1.7数据治理：政策指引二、主题：面向人工智能的数据治理2.1AI应用规模化2.2大数据智能市场的行业规模2.3大数据智能市场的投融资热度2.4大数据智能产业生态圈2.5面向人工智能的数据治理：需求传导2.6面向人工智能的数据治理：反复治理2.7面向人工智能的数据治理：体系搭建2.8面向人工智能的数据治理：数据准备2.9面向人工智能的数据治理：数据质量2.10面向人工智能的数据治理：数据标准2.11面向人工智能的数据治理：特征管理2.12面向人工智能的数据治理：效果优化三、参与：行业规模与受益圈立足点3.1AI数据产业生态圈3.2数智融合产业带来多元厂商参与3.3数智产业生态圈的受益节奏3.4数智产业生态圈的参与立足点3.5面向人工智能的数据治理：行业规模3.6面向人工智能的数据治理：时机路径四、实践：高频高价值应用及数据痛点4.1金融-行业发展背景4.2金融-高频高价值场景4.3金融-面向人工智能的数据治理体系4.4金融-大数据智能产业图谱4.5零售-行业发展背景4.6零售-高频高价值场景4.7零售-数据痛点与核心诉求4.7零售-面向人工智能的数据治理体系4.8零售-大数据智能产业图谱4.9医疗-行业发展背景4.10医疗-高频高价值场景4.11医疗-数据痛点与核心诉求4.12医疗-面向人工智能的数据治理体系4.13医疗-大数据智能产业图谱4.14工业-行业发展背景4.15工业-高频高价值场景4.16工业-数据痛点与核心诉求4.17工业-面向人工智能的数据治理体系4.18工业-大数据智能产业图谱五、案例：标杆企业与新锐势力5.1第四范式5.2明略科技5.3傲林科技5.4MagicData六、展望：治理陷阱与趋势洞察6.1数据埋点的大而全陷阱6.2数据治理体系的流转运营6.3关注数据治理中的安全合规性6.4联邦学习带来数据治理升华6.5数据的“自治与自我进化”6.6打造“治理+AI”体系的良性循环
图表目录图1-12016-2035年全球产生的数据量图1-22015-2020年中国数字经济内部结构变化图2-32019-2026年大数据智能市场规模图2-42021年大数据智能市场规模细分结构图2-52011-2021年大数据智能市场投融资事件数量图2-62011-2021年大数据智能市场投融资事件轮次情况图3-72019-2026年中国数据治理与面向人工智能的数据治理规模图4-82019年中国金融机构AI投入规模结构图4-9预计2022年全球金融业支出结构图4-102016-2020中国社会消费品零售总额及网上零售额图4-112021年中国医院智能应用现状图4-122021年中国三级医院AI应用开展情况图4-132021年中国二级医院AI应用开展情况图4-142021年中国其他医院AI应用开展情况图4-152019-2025年AI辅助诊断细分市场规模图4-162019-2025年中国工业智能核心产业规模