AI换脸除了诈骗还有哪些风险专家：各传播平台也应担责
10分钟，被诈骗分子通过AI换脸化身“好友”，骗走430万元——这是近日“平安包头”微信公众号公布的一位受害者的经历。相关话题登上热搜，引发网友关注。
AI换脸，即通过人工智能技术，将视频中某个人物的脸轻易替换成另一个人的脸。利用AI换脸，普通人可以感受娱乐氛围、影视作品能获得创意效果。但是，当AI换脸技术被不法分子利用，也带了诈骗等危害……
AI换脸的应用边界在哪里？普通人应该如何防范AI换脸带来的风险？
AI换脸诈骗不时发生
有人10分钟被骗430万元
你也许已经看过了包头市公安局通过“平安包头”微信公众号公布的这起电信诈骗案例：
来自福建的郭先生是一家科技公司法人代表。今年4月，他的好友突然通过微信视频联系他，称自己在外地投标，需要430万元保证金，想借用郭先生公司的账户走一下账。
基于对好友的信任，加上视频聊天中“核实”了身份，10分钟后，郭先生分两笔把430万元给对方打了过去。而后，郭先生拨打好友电话，对方说没有这回事，他这才意识到竟然遇上了“高端”骗局，对方通过智能AI换脸技术，佯装成好友对他实施了诈骗。
“从头到尾都没有和我提借钱的事情，就说会先把钱给我打过来，再让我给他朋友账户转过去，而且当时是给我打了视频的，我在视频中也确认了面孔和声音，所以才放松了戒备。”郭先生说。
事实上，郭先生的遭遇并非单一案例，近年来，利用AI换脸、AI拟声等技术进行的诈骗不时发生。
据公安部网安局公布的消息，2020年12月，某公司财务小王接到领导电话，要求立刻给供应商转款2万元。由于老板的口音十分逼真，小王信以为真，在1小时内转款完成，后发现被骗。
浙江温州市公安局曾发布案例，2021年拱宸桥派出所接到报警，受害人小陈与女网友视频聊天后，被对利用AI换脸技术，将小陈视频中的面部合成到不雅视频中，借此对其实施勒索。
不法分子如何利用AI换脸诈骗？北京师范大学法学院博士生导师、中国互联网协会研究中心副主任吴沈括表示，在技术上，这类诈骗往往通过非法获取他人个人数据，以及运用各种黑灰软件来替换数据信息来实现。
浙江金道律师事务所律师夏文忠在接受潮新闻记者采访时，分享了曾代理过的一个案例细节：当诈骗分子加上受害人微信后，只需一个电脑插件就可以在社交软件聊天时篡改讲话声音，甚至形象，“受害人听到的柔美女声，实际上来自一个五大三粗的男子。”
“这类案件中，不法分子利用AI换脸，伪造事实、隐瞒真相，使被害人陷入错误的认识，从而交付财物，涉嫌诈骗罪，需要加倍警惕。”夏文忠表示。
AI换脸并不新鲜
普通人娱乐、主播带货已经有之
AI换脸早已不是新鲜事，除了变“熟人脸”实施诈骗，已应用至多个领域。
比如，在日常生活中，不少网友体验过娱乐性的AI换脸。早在2019年，一款名为“ZAO”的AI换脸软件就曾风靡网络，只需上传一张照片就能让普通人成为影视剧的男女主角，出演经典电影片段、甚至跟偶像飙戏，受到众多网友的体验追捧。不过，短时间内，这款软件就因侵犯版权、侵害隐私、危害数据安全等问题，被下架处理。
而当前，在手机应用商店搜索关键词，依然有许多和AI换脸有关的app。记者随意下载了两款app，都只需上传一张正脸照片，便可将妆发造型姣好的视频或图片模板替换为自己的脸庞。
AI换脸也被应用于影视行业。在《三千鸦杀》《了不起的儿科医生》《长安十二时辰》等影视作品中，都因为原演员问题，部分角色用到了AI换脸技术。
吴沈括表示，在内容产业上，AI换脸有它的优势和价值，比如，丰富了人们的文化娱乐生活等，但同时它的风险不容忽视，这些风险既包括对于他人个人数据的非法使用、非法处理，也包括传播虚假信息、诈骗或者其他违法犯罪活动。
在风险层面，今年4月，拥有148万多粉丝的网络博主@Caro赖赖通过微博公开发文，曝光了自己的脸被盗用的经历。不法分子用她的脸，通过AI换脸制作不雅视频并从中牟利。当她追根究底，却发现分发视频的账号都是海外IP，溯源困难。
今年5月，有媒体报道，当不少网友点开直播间，发现正在卖货的竟是“杨幂”“迪丽热巴”等一些当红女星。但仔细观察后发现，这些带货的“明星”，实际上只是使用了AI实时换脸的普通主播。
“无论是普通人用APP一键换脸，还是普通主播用明星脸带货，甚至不法分子盗用网红脸制作不雅视频，AI换脸技术的部分滥用很有可能会侵犯到他人的肖像权、名誉权，甚至可能构成刑事犯罪。”因此，夏文忠表示，对于AI换脸风险的管控不可忽视。
普通人如何应对AI换脸风险？
律师、专家提醒：提高警惕，必要时可诉诸法律
面对AI换脸带来的诈骗等风险，应该怎么防？夏文忠认为，加强监管、健全立法是重要手段。
目前，我国已出台的《民法典》第1019条明确规定，任何组织或者个人不得以丑化、污损，或者利用信息技术手段伪造等方式侵害他人的肖像权。
去年12月，国家网信办、工信部、公安部联合发布《互联网信息服务深度合成管理规定》，对人脸生成、人脸替换等都有明确约束。其中明确，深度合成服务提供者和技术支持者提供人脸、人声等生物识别信息编辑功能的，应当提示深度合成服务使用者依法告知被编辑的个人，并取得其单独同意。
今年4月11日，国家网信办也出手，为生成式人工智能“立规矩”，公布了《生成式人工智能服务管理办法（征求意见稿）》，其中提到，AI内容必须真实准确，还明确提到，禁止非法获取、披露、利用个人信息和隐私、商业秘密。
夏文忠还认为，除此之外，各网络平台对于AI换脸的应用也应当担负起责任。“目前，推出AI换脸功能的平台以及允许AI换脸相关内容传播的平台，都应该加强审核，以避免AI技术被不法分子利用，以及避免损害公民肖像、名誉权等。”
此外，对普通个人而言，夏文忠也建议，无论是否遭遇AI换脸诈骗，现实生活中，只要涉及汇款转账，就都应该提高警惕，通过多个渠道核实对方身份与信息。此外，如果遇到被AI换脸损害了肖像、名誉权等，也要勇于站出来，让对方以及平台删除相关内容并赔礼道歉，必要时也可以寻求警方帮助，甚至进行诉讼。
针对个人而言，吴沈括也建议，要加强数字素养，提高自身使用数字工具的安全意识和安全能力；同时，增强自我保护意识，防止个人信息的泄露；此外，也要提升法治意识，对诈骗等违法违规行为保持警惕，加强维权能力和意识。
“AI换脸诈骗潮”来了?
“AI换脸诈骗潮”来了？
公安部门：全国爆发消息不实，但涉诈风险正在积聚
记者于梅君
一张静态半身照，经过特殊软件处理，就能变成视频，而这样一段视频，可能被不法分子用来诈骗。那么，“AI换脸”是如何实现的？目前全国真的爆发“AI诈骗潮”了吗？对普通公众而言，如何识别“AI假脸”？
花钱就可“买脸”“AI换脸”暗藏黑产
“AI换脸”技术，一直是网络安全监管的重点对象，许多换脸软件，不得不通过短视频平台、社交账号等私密渠道进行资源共享。
某社交平台一位商家介绍，可以提供国内明星换脸服务，软件价格2000元一套，可送一个模型，“模型可以定制，另外加500元一个。”此外，该商家提供了多组套餐供选择：包括单图换脸、实时换脸、全自动换脸等，每套价格多集中在2000元至3000元。商家表示，可采用多个人脸混合的方式，将使用者本人的脸和明星的脸进行混合，以降低侵权风险。
在某销售网站上，一名软件开发者则展示了如何将知名女星的眼睛和嘴巴拼接融合到一起，生成全新虚拟数字人的过程。该款软件提供了从初级到超级再到全套的不同版本。以初级套餐来说，付费499元可提供软件界面、视频指导、入门级模型、基础指导等。付费2888元，则可得到全套等级的视频换脸模型。
软件不仅可以实现视频换脸，还支持直播换脸。“如果你有看中的脸，可以找到某个人的正面、侧面等各种角度视频拿来训练。”该软件开发者同样表示，“如果你想要明星脸，又怕侵权，不想那么像，就可以找几个人的脸放在一起训练，看上去又像又不像，达到明星脸的效果。”
此外，网络上不乏AI换脸教程。在国内某知名App上输入“换脸”，弹出的高频检索记录显示，有“换脸软件”“换脸App免费”“换脸视频怎么做”“换脸算法”等。
视频“大变活人”是如何实现的
“AI换脸”也叫“深度伪造技术”，堪称现代网络“易容术”，是比PS强大很多的动态换脸技术。这一方式被一些不法分子用于盗刷银行卡、非法办理手机卡等诈骗场景。除了欺骗机器外，还可以通过伪造电话语音、视频通话等欺骗真人，引诱转账、实施敲诈等。那么，“AI换脸”到底是如何实现的？
“深度伪造技术主要分两部分：自动编码器和生成对抗网络。”天津大学智能与计算学部教授翁仲铭介绍，其核心原理，是利用“生成对抗网络”等算法，将目标对象的面部，“嫁接”到被模仿对象上，一般可分四类：重现、替换、编辑和合成。
随着深度学习技术的发展，自动编码器、生成对抗网络等，逐渐被应用到“深度伪造”中。那么，什么是自动编码器？翁仲铭介绍，自动编码器是一种神经网络技术，就是把一个人的照片特征抓取出来，然后用数字代表。
有编码器就需要解码器，解码器会把一串串数字再还原成照片。不同解码器，可以还原不同照片，比如朱茵的解码器可以还原朱茵的照片，而还原施瓦辛格照片，则需要施瓦辛格的解码器。
“深度伪造技术，就是在设计、训练精准的编码器和解码器。”翁仲铭解释，因为编码器是抓取照片的特征，所以基本上只需要一套就可以了。但解码器就需要训练很久，以换成史泰龙的脸为例，这个过程需要输入史泰龙600—3000张照片，并经过48—72小时来训练深度模型。
“自动编码器做出的照片是否自然真实，还需要判别把关，这就需要‘生成对抗网络’技术。”翁仲铭解释，这包括两个机器学习模型，分别为“生成网络”和“辨别网络”，这种网络包含两个相互博弈的神经网络，像“猫捉老鼠”一样对抗：一个尽力去忽悠另一个，让它相信自己生成的是真样本，而另一个则尽力去区分真假样本。
生成网络扮演“造假者”，在模型训练后，产生伪造影片；而辨别网络则扮演“检测者”，不断地检视假影片，直至它再辨别不了结果是假的。数据越多，效果越理想，假影片越真实。
AI进入快速迭代期，涉诈犯罪风险正在积聚
通过AI换脸和拟声技术，10分钟骗430万元；AI虚拟人在聊天中筛选出受害者，人工接力实施诈骗……近期，多起宣称利用AI技术实施诈骗的案件引发关注。
那么，“AI诈骗潮”是否真的到来了？近日，公安部门确认，“AI诈骗全国爆发”的消息不实，目前此类诈骗发案占比很低。但公安机关已注意到此犯罪新手法，将会同有关部门，开展技术反制和宣传防范。
专家表示，AI在技术上确实能做到换脸、拟音，但被用来进行“广撒网”式诈骗需要具备很多条件。
这类诈骗如果得手必须做到：收集到被换脸对象的个人身份信息、大量人脸图片、语音素材，通过AI生成以假乱真的音视频；窃取被换脸对象的微信号；充分掌握诈骗对象个人身份信息，熟悉其与被换脸对象的社会关系，综合作案成本很高。
公安机关研判，目前AI涉诈案件仍属零星发案状态，成熟的类型化诈骗犯罪，往往具有在全国多地集中爆发的特点，但当前没有成规模的AI诈骗类案件发生。
所以，近期网上“AI换脸、换声诈骗在全国爆发”传言不实，目前全国此类案件发生不到10起，但该动向值得高度关注。网上一键换脸功能的App、小程序有技术滥用风险，需要加强技术防范反制等工作。
国家开发投资集团特级专家赵建强表示，虽然AI诈骗类案件尚未大规模爆发，但AI技术正加速向网络诈骗、虚假信息、色情等领域渗透。“如假冒明星换脸直播、一键脱衣、造谣、制作色情视频等。虽然AI诈骗案件未成气候，但这一趋势值得关注，必须提早防范。”一位反诈民警说。
用“白AI”对抗“黑AI”，及时画红线、踩刹车
中国移动信息安全中心品质管理处副处长周晶表示，近年来，各界正在研判AI技术给社会带来的风险和潜在威胁，设法将AI技术发展纳入一定规则中，做到安全可控。
业内人士建议，要加强AI反制技术研究，“以AI制AI”。一些科技公司正加强对图像、声音伪造技术的反制研究，在公安、金融的视频认证场景已有应用。有一线民警建议，要加强AI安全技术应用研发，将AI技术应用于犯罪识别、预警、对抗中，实现以“白”AI对抗“黑”AI。
其次，加强源头治理和行业引导，及时更新、完善相关法律、标准、规则，为AI技术发展保驾护航。“数据是AI犯罪的源头，保护好公民的个人隐私数据安全，就能在最大程度上降低AI违法犯罪的能力。”周晶说。
中国互联网协会监管支撑部主任郝智超建议，AI技术发展还要有相关法律法规来画红线、踩刹车。对AI技术的研发、传播、使用做到有规可循，并根据技术发展实际情况，及时完善对技术服务商行为的规范引导。
此外，还要有针对性地加强反诈宣传。郝智超表示，未来AI可根据大数据创造出无比接近真实的“真实”。“要通过不断的教育，改变大众观念，让人知道眼见不一定为实，有图不一定有真相，提升对网络信息的辨识力。”
(一)合成声音
骗子通过骚扰电话录音等，提取某人声音，获取素材后进行声音合成。
(二)通过AI筛选受骗人群
骗子不是漫无目的地全面撒网，而是别有用心地锁定特定对象。
(三)AI换脸
骗子首先分析公众发布在网上的各类信息，用AI技术换脸，可伪装成任何人。
识别假脸
多数假脸是使用睁眼照片合成，假脸极少甚至不会眨眼。还包括语音和嘴唇运动不同步、情绪不符合、模糊的痕迹、画面停顿或变色等。（齐鲁晚报）
【编辑:叶攀】