2023年全球人脸识别行业市场现状及发展前景趋势分析 预计2028年全球市场规模有望超过120亿美元
行业主要上市公司：商汤(00020.HK);汉王科技(002362);川大智胜(002253);云从科技(688327);海鑫科金(430021);佳都新科(600728)等
本文核心数据：全球人脸识别行业市场规模;竞争格局;市场规模预测
1、全球人脸识别行业发展概况
——全球人脸识别行业发展历程：进入快速发展阶段
总体来看，人脸识别的发展可以分为三个阶段，第一阶段(1954-1980年代)为人脸识别的探索阶段;第二阶段(1990年代-2000年代)为初步发展阶段;第三阶段(2000年代至今)为快速发展阶段。
2)全球人脸识别行业政策汇总：管理政策趋严
2020年初，ClearviewAI公司遭遇重大数据泄露，30亿张人脸数据被泄露，引发全美社会的巨大担忧。2020年2月12日，美国两名民主党参议员提出《人脸识别道德使用法案》，要求暂时禁止政府机构使用人脸识别技术，防止其侵犯公民隐私权和影响公民自由。
欧盟在2018年出台的《通用数据保护条例》(GDPR)应用于欧盟境内所有成员国，而GDPR对面部识别特征在内的生物识别数据采取严格的法律规制态度。GDPR规定，第9条将“能识别特定自然人的生物识别数据”视作个人数据的特殊类型——个人敏感数据。原则上，GDPR禁止企业处理生物识别数据，除非满足获取用户的明示授权同意等例外情形。违反GDPR的后果严重，企业被罚款金额可达其全球收入的4%。欧盟也在推进制定人脸识别技术的特殊监管规则，例如2020年1月被媒体泄露出来的欧盟人工智能监管政策白皮书中已针对人脸识别技术提出了潜在监管方案，其中一项即为“在评估人脸识别技术影响的方法和风险管理措施被开发出来之前，可能会暂时(3-5年)禁止在公共场所使用该项技术”。
欧盟2021年4月出台的《人工智能法》草案进一步加强了对生物特征识别技术的管控，原则上禁止执法部门在公共场所使用实时远程生物特征识别系统。欧盟2022年通过的《执法领域面部识别技术使用指南》重申了禁止使用人脸识别技术的情况，并对能够使用的场景规定了非常严苛的条件。
3)全球人脸识别行业市场规模：市场规模快速扩张
新技术打开行业新市场。人脸识别应用领域遍地开花，产业增速迅猛。在深度学习技术加持下，人脸识别技术准确率跃升，全面开启了商业化进程。尤其是近两年，人脸识别在安防、金融、交通、电信等领域的应用种类和用户规模呈现爆发式增长，已经成为人们习以为常的人工智能应用，极大提升了身份认证、支付转账、人流统计和特定任务甄别等诸多任务效率。据全球权威调研机构ResearchAndMarkets测算，2021年全球人脸识别市场规模约50.1亿美元，初步统计2022年市场规模在60亿美元左右。
2、全球人脸识别行业发展前景趋势预测
——全球人脸识别行业发展前景预测：未来前景广阔
虽然传统的面部识别系统存在漏洞，但基于AI的先进面部识别系统可提供更高的准确性。此外，许多公司正在从他们的安全系统中淘汰传统的指纹扫描仪，这为采用基于人工智能的面部识别系统铺平了道路。此外，来越多的政府举措和投资促进基于人工智能的面部识别技术正在推动面部识别市场的增长。如2020年，美国国防部(DoD)下属的国防高级研究计划局(DARPA)拨款超过20亿美元，用于资助未来五年的人工智能相关研发。由此ResearchAndMarkets预测到2028年全球人脸识别市场规模可达126.7亿美元，年复合增长率达14%，未来前景广阔。
2)全球人脸识别行业发展趋势分析：远距离人脸识别技术与3D人脸识别技术
从技术发展趋势来看，目前，越来越多研究机构开始对人脸识别技术进行更深入的研究，以寻求更好、更新的人脸识别技术。其中，远距离人脸识别技术与3D人脸识别技术是研究的主要方向之一，虽然现在这些技术在实际运用过程中还存在一定的难度，但是，随着研究的深入，远距离人脸识别技术与3D人脸识别技术的应用将是未来一段时间的发展方向。
从市场趋势来看，随着高科技信息技术的快速发展，未来人脸识别技术将逐渐向市场化、产品化的方向发展。此外，人脸识别技术的产品类型也将越来越多，例如基于肤色的人脸识别技术、基于点位的人脸识别技术、基于几何特征的人脸识别技术等。可以预见，随着人脸识别技术应用范围的扩大，具有针对性的人脸识别产品将越来越多。
更多本行业研究分析详见前瞻产业研究院《中国人脸识别行业市场前瞻与投资战略规划分析报告》，同时前瞻产业研究院还提供产业大数据、产业研究、产业规划、园区规划、产业招商、产业图谱、产业链咨询、技术咨询、IPO募投可研、IPO业务与技术撰写、IPO工作底稿咨询等解决方案。
市场规模将突破100亿元，人脸识别技术的发展历程与前景展望
三、人脸识别技术的优点前文有说，人脸识别技术是一种利用人类生物特征而进行身份识别验证的技术。它与指纹、虹膜、DNA等生物特征一样，与生俱来，具有唯一性。而与纹或虹膜识别等传统上被认为更加稳健的生物识别方法相比，人脸识别拥有非强制性、非接触性的特点。用户不需要专门配合人脸采集设备，几乎可以在无意识的状态下就可获取人脸图像。
此外，在实际应用场景中，它还具备了并发性特质，在商场、车站等人员密集地，我们可以通过人脸识别技术，进行多个人脸的分拣、判断及识别。
四、人脸识别技术的难点和不足近几年，人脸识别技术日益创新突破，在各产业之间落地的应用项目有目共睹，但至今人脸识别技术还是被认为是生物特征识别技术中较为困难的研究课题之一。
人脸所蕴含的信息量较指纹、虹膜等生物特征相比是比较少的，其变化的复杂性不够，在识别精度也低于虹膜与指纹。而如何在不同光线和角度下，更好地识别脸部？如何清晰、精准的确定身份等等问题，仍然是目前亟待解决的技术痛点。
除此之外，人脸识别技术的快速增长，人脸的随意采集，也加剧了信息泄漏的风险。一是人脸识别未经用户许可擅自采集用户人脸数据，并用作商业用途；二是人脸数据被采集后，通常有很长的生态链，商家不仅拥有了用户的人脸数据，还拥有了用户的消费习惯、财务状况等其他信息，这些信息一旦泄露，将对用户的隐私造成巨大的损害。
五、人脸识别技术的发展现状及前景人脸识别是一项技术，技术本无原罪，而“滥用”的本质在于使用场景是否合理。针对一些场景，人们应为人脸识别设置“边界”。例如，当人脸识别被用于一些非必要场景，应减少对人脸这种高敏感信息的采集和使用，积极使用替代方案等。更重要的是，在推动行业发展的同时，把隐私和安全放在首位，不断完善法律法规。
自2015年以来，我国密集出台了《关于银行业金融机构远程开立人民币账户的指导意见(征求意见稿)》《安全防范视频监控人脸识别系统技术要求》等政策文件，为人脸识别技术在安防、金融等领域的应用拓展奠定了坚实基础。
自AI被提升到国家战略高度，作为人工智能重点细分领域，人脸识别迎来了发展的窗口期。而人脸识别政策红利的持续释放，其应用场景已经从公共安防领域向商业领域拓展，广泛应用到了面部解锁、身份认证、面部支付、门禁、通行、安防等领域。
数据显示，2015-2019年，我国人脸识别市场规模逐年增长，年均复合增长率达30%，约占全球市场的15%左右，充分显示出了人脸识别巨大的商用价值。预计2022年，市场规模将达到68亿元。
随着人脸识别算法进一步发展，商用模式进一步完善，人脸识别将在不同行业、产业中大放异彩。作为我国人工只能发展的一个缩影，人脸识别技术落地的大趋势已不可改变，就像任何新技术一样，趋其利、避其害，扬其长、避其短，方能避免可能发生的伤害。
资料参考：
AI前线：打开人工智能“黑盒”，发展可解释、可扩展、可信赖、安全可靠的人工智能
AI有道：重磅！人脸识别全面总结：从传统方法到深度学习
新浪科技：《经济学人》人脸识别不只是技术有可能改变社会
百度文库：人脸识别技术发展历史
中国安防协会人脸识别技术概述及优势（秦红亮阚跃）
百度百科：人脸识别词条
中国安防行业网：人脸识别技术的弊端及安全隐患
声明：本文章仅供一般性参考，并不构成针对任何证券或其他金融工具订立任何交易或采用任何对冲、交易或投资策略的邀约、推荐或建议。本文仅使用历史实际数据进行一般性论述，并未考虑任何特定人士或群体的具体投资目标、财务状况、特定需求等，亦非专为任何特定人士或群体编制。如有侵权，请第一时间联系删除。返回搜狐，查看更多
人脸识别技术发展现状及未来趋势
当前，随着人工智能、物联网等前沿技术的迅速发展，智能时代已悄然到来，"刷脸"逐渐成为了新的风潮。在人脸识别技术商业化应用领域不断扩张的趋势下，"刷脸"办事正愈发常见。
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。
刚刚过去的2018年，是我国人脸识别技术全面应用的重要节点，标志着"刷脸"时代的正式到来。
一、人脸识别技术发展背景
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。除了安防、金融这两大领域外，人脸识别还在交通、教育、医疗、警务、电子商务等诸多场景实现了广泛应用，且呈现出显著应用价值。为了进一步把握人脸识别技术所带来的重大机遇，我国出台了一系列政策予以支撑。
2015年以来，我国相继出台了《关于银行业金融机构远程开立人民币账户的指导意见(征求意见稿)》、《安全防范视频监控人脸识别系统技术要求》、《信息安全技术网络人脸识别认证系统安全技术要求》等法律法规，为人脸识别技术的应用以及在金融、安防、医疗等领域的普及奠定了重要基础。
2017年，人工智能首次被写入全国政府报告；同年7月，国务院发布了《新一代人工智能发展规划》；12月，工信部出台了《促进新一代人工智能产业发展三年行动计划(2018-2020年)》，其中对人脸识别有效检出率、正确识别率的提升做出了明确要求。作为人工智能主要细分领域，人脸识别获得的国家政策支持显而易见。
二、人脸识别技术发展历程
人脸识别最初在20世纪60年代已经有研究人员开始研究，真正进入初级的应用阶段是在90年代后期，发展至今其技术成熟度已经达到较高的程度。整个发展过程可以分为机械识别、半自动化识别、非接触式识别及互联网应用阶段。
与其他生物识别方式相比，人脸识别优势在于自然性、不被察觉性等特点。自然性即该识别方式同人类进行个体识别时所利用的生物特征相同。指纹识别、虹膜识别等均不具有自然性。不被察觉的特点使该识别方法不易使人抵触，而指纹识别或虹膜识别需利用电子压力传感器或红外线采集指纹、虹膜图像，在采集过程中体验感不佳。目前人脸识别需要解决的难题是在不同场景、脸部遮挡等应用时如何保证识别率。此外，隐私性和安全性也是值得考虑的问题。人脸识别优势明显，未来将成为识别主导技术。具体来说，相比指纹识别、虹膜识别等传统的生物识别方式，优点主要还集中在四点：非接触性、非侵扰性、硬件基础完善和采集快捷便利，可拓展性好。在复杂环境下，人脸识别精度问题得到解决后，预计人脸识别有望快速替代指纹识别成为市场大规模应用的主流识别技术。
三、人脸识别技术研发现状
截至2018年7月2日，我国人脸识别技术专利申请总量达到10404项。其中，发明专利数最多，达到6589项，占比为63.33%；实用新型专利数其次，为2591项，占比为24.90%；外观、发明授权专利数占比分别为3.54%、8.23%。
从申请专利数量来看，2007-2017年，我国人脸识别专利申请数量总体上呈上升的趋势。尤其是2014年后，人脸识别专利申请数量大幅增多；到2017年，人脸识别专利申请数量达到2847项。
从公开专利数量来看，2007-2017年，我国人脸识别专利公开数量总体上呈趋势。2017年，我国人脸识别专利公开数量为2698项，达到近年来最大值；截至2018年7月，专利公开数量为2163项。
四、人脸识别技术应用概况
2014年是我国人脸识别技术的转折点，使人脸识别技术从理论走向了应用，2018年则是人脸识别技术全面应用的重要节点，"刷脸"时代正式到来。
目前，从我国人脸识别技术应用来看，主要集中在三大领域：考勤门禁、安防以及金融。
从具体应用来看，主要包含了公共安全领域的刑侦追逃、罪犯识别以及边防安全等；信息安全领域的政府职能领域的电子政务、户籍管理、社会福利和保险；商业企业领域的电子商务、电子货币和支付、考勤、市场营销；场所进出领域的军事机要部门、金融机构的门禁控制和进出管理等。
2018年，人脸识别技术在更多的领域解锁了更多应用，广东省、江苏省、浙江省、河北省、青岛市等地在2018年的高考期间均启用了人脸识别系统；北京大学将人脸识别技术应用到了校园入园人员身份验证领域；北京市人社局也计划在市级公租房将全部安装人脸识别系统，以预防公租房违规转租；滴滴在6月正式上线人脸识别系统……
从目前我国在人脸识别技术领域领先企业的应用布局来看，安防和金融是相对布局较多的领域，在物流、零售、智能手机、汽车、教育、地产、文娱广告等领域也均开始涉足。
五、人脸识别未来发展趋势
首先，人脸识别应用的最广泛领域便是安防行业，不仅给整个安防行业注入了新的生命活力，也进一步开拓了新的发展市场。作为安防市场未来的发展方向的智能视频分析，其中最重要的技术就是人脸识别。
其二，我国的三维测量技术近年来发展形势较好，而现今3D人脸识别算法正对2D投影的缺陷做了补充，此外对于其中的传统难点，包括人脸旋转、遮挡、相似度等在内的都有了很好的应对，这也成为了人脸识别技术的另一个最为重要的发展路线之一。
其三，大数据深度学习进一步提升了人脸识别的精确度，这也为2D人脸识别的应用作了一定的突破，将其应用于互联网金融行业当中，能够快速普及金融级应用。
其四，人脸识别技术由于其便利性、安全性，可在智能家居中用作门禁系统以及鉴权系统，因此智能家居与人脸识别技术的融合是未来发展的重点方向。智能家居中的人脸识别系统是结合嵌入式操作系统和嵌入式硬件平台建立的，加强了人脸识别技术与智能家居应用的结合度，具有概念新、实用性强等特点。
其五，人脸识别技术是未来基于大数据领域的重要发展方向。现如今公安部门都引入了大数据，这也弥补了传统技术的难点，通过人脸识别技术使得这些照片数据再度存储利用，能够大大提升公安信息化的管理和统筹，这将成为未来人脸识别的主要发展趋势。
智能视频分析技术发展及现状分析
智能视频分析技术指计算机图像视觉分析技术，是人工智能研究的一个分支，它在图像及图像描述之间建立映射关系，从而使计算机能够通过数字图像处理和分析来理解视频画面中的内容。智能视频分析技术涉及到模式识别、机器视觉、人工智能、网络通信以及海量数据管理等技术。视频智能分析通常可以分为几部分：运动目标的识别、目标跟踪与行为理解。
智能视频分析技术发展背景
传统的视频监控和智能分析技术虽然解决了视频的存储和回放，以及各厂商视频流的互联互通，但仍然无法精准识别、定位和查找视频中的人、车、物等目标信息以及对目标进行精确特征提取，无法将没用的视频过滤，无法将人物、车辆的其他信息进行有效分类。目前，要实现全方位的实时监控，指挥调度，视频录像中可疑目标的检索查证，还必须依靠大量的工作人员时刻紧盯屏幕，监视所有摄像机的实况视频，以及回放相关视频录像，查找可疑人员，车辆目标和线索。要想完美地解决这些问题，就要从技术层面出发，依靠科技的不断进步和融合来弥补不足之处。
近几年，随着高清视频监控的逐步推广和普及，视频监控市场已经实现“看得见，看得清，看得明”，未来是向“提前看，看得懂”方向发展。随着政府和企业对智慧城市建设、社会监控建设的持续投入，部署的视频监控设备也会越来越多，这也将会产生海量的视频数据，从而也会推动安防向着智能和大数据的方向迈进。
智能视频分析技术现状分析
近年来，研究者在智能化监控技术的运动检测、目标跟踪、视频分割、行为识别等领域进行了很多研究并取得了丰硕的成果。智能视频监控正成为学术界、工业界新兴的研究热点和开发方向，接下来介绍一下近几年智能视频监控取得的技术成果。
1
人脸识别
人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行分析的一系列相关技术，人脸识别未来的应用场景将不局限于安防监控领域，智慧城市、智慧金融等将更多的出现人脸识别技术应用的场景。
2
车辆结构化识别
近年来，随着智能交通的高清卡口相机的广泛建设和应用，借助于智能识别算法和大规模集成电路技术的迅速发展，对电警、卡口、停车场出入口等场所进行包括车牌识别在内的车辆特征识别，把车辆相关结构化信息存入基础信息库。智能分析识别的车辆特征信息越来越丰富，通常包括有车牌、车牌颜色、车标、车身颜色、车型、车款等。配合业务需求，还能检测识别遮阳板、系安全带、司乘人员的人脸检测和抓拍、驾驶员打电话等细微信息。
3
异常行为分析
以数字化、网络化视频监控为基础，根据设置的某些特定的规则，系统识别不同的物体，同时识别目标行为是否符合这些规则，一旦发现监控画面中的异常情况，系统能够以最快、最佳的方式发出警报并提供有用信息，从而能够更加有效地协助安全人员处理危机，最大限度地降低误报和漏报现象，切实提高监控区域的安全防范能力。
4
客流量统计
对画面中特定区域：如大门、通道口等进出人数进行统计，最后得出进入人数量、离开人数量等统计数据，并根据客流数据进行各类分析。
5
视频摘要
视频摘要是近两年市场上宣传较多的智能视频分析功能，主要目的是对监控视频在时间长度上进行压缩，使用户能够在短时间内浏览完一段长视频而不遗漏重要信息。
6
视频质量诊断
可以诊断出画面中包括信号丢失、对比度失真、图像模糊、图像过亮、图像过暗、图像偏色、条纹干扰、视频抖动等等问题，并发出报警信息，可以有效避免目前大量视频画面轮询时发生的漏报情况。
在人工智能飞速发展的背景下，安防产业也朝着智能化方向加速迈进。以人脸检索、三维立体识别、视频摘要、行为分析、视频/图片结构化数据应用以及深度学习等为代表的智能技术已然成为安防产业发展的下一个风口。
本期责编：方婷
深扒人脸识别60年技术发展史！
将待识别的人脸特征与已得到的人脸特征模板进行比较，根据相似程度对人脸的身份信息进行判断。这一过程又分为两类：一类是确认，是一对一进行图像比较的过程，另一类是辨认，是一对多进行图像匹配对比的过程。
广义的人脸识别实际包括构建人脸识别系统的一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等;而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。
人脸识别技术发展
早在20世纪50年代，认知科学家就已着手对人脸识别展开研究。20世纪60年代，人脸识别工程化应用研究正式开启。当时的方法主要利用了人脸的几何结构，通过分析人脸器官特征点及其之间的拓扑关系进行辨识。这种方法简单直观，但是一旦人脸姿态、表情发生变化，则精度严重下降。
1991年
1991年，著名的“特征脸”方法第一次将主成分分析和统计特征技术引入人脸识别，在实用效果上取得了长足的进步。这一思路也在后续研究中得到进一步发扬光大，例如，Belhumer成功将Fisher判别准则应用于人脸分类，提出了基于线性判别分析的Fisherface方法。
2000-2012年
21世纪的前十年，随着机器学习理论的发展，学者们相继探索出了基于遗传算法、支持向量机(SupportVectorMachine，SVM)、boosting、流形学习以及核方法等进行人脸识别。2009年至2012年，稀疏表达(SparseRepresentation)因为其优美的理论和对遮挡因素的鲁棒性成为当时的研究热点。
与此同时，业界也基本达成共识：基于人工精心设计的局部描述子进行特征提取和子空间方法进行特征选择能够取得最好的识别效果。
Gabor及LBP特征描述子是迄今为止在人脸识别领域最为成功的两种人工设计局部描述子。这期间，对各种人脸识别影响因子的针对性处理也是那一阶段的研究热点，比如人脸光照归一化、人脸姿态校正、人脸超分辨以及遮挡处理等。
也是在这一阶段，研究者的关注点开始从受限场景下的人脸识别转移到非受限环境下的人脸识别。LFW人脸识别公开竞赛在此背景下开始流行，当时最好的识别系统尽管在受限的FRGC测试集上能取得99%以上的识别精度，但是在LFW上的最高精度仅仅在80%左右，距离实用看起来距离颇远。
2013年
2013年，MSRA的研究者首度尝试了10万规模的大训练数据，并基于高维LBP特征和JointBayesian方法在LFW上获得了95.17%的精度。这一结果表明：大训练数据集对于有效提升非受限环境下的人脸识别很重要。然而，以上所有这些经典方法，都难以处理大规模数据集的训练场景。
2014年
2014年前后，随着大数据和深度学习的发展，神经网络重受瞩目，并在图像分类、手写体识别、语音识别等应用中获得了远超经典方法的结果。香港中文大学的SunYi等人提出将卷积神经网络应用到人脸识别上，采用20万训练数据，在LFW上第一次得到超过人类水平的识别精度，这是人脸识别发展历史上的一座里程碑。
自此之后，研究者们不断改进网络结构，同时扩大训练样本规模，将LFW上的识别精度推到99.5%以上。人脸识别发展过程中一些经典的方法及其在LFW上的精度，都有一个基本的趋势：训练数据规模越来越大，识别精度越来越高。
人脸识别关键技术
人脸检测
“人脸检测(FaceDetection)”的作用就是要检测出图像中人脸所在位置。
人脸检测算法的输入是一张图像，输出是人脸框坐标序列，具体结果是0个人脸框或1个人脸框或多个人脸框。输出的人脸坐标框可以为正方形、矩形等。
人脸检测算法的原理简单来说是一个“扫描”加“判定”的过程。即首先在整个图像范围内扫描，再逐个判定候选区域是否是人脸的过程。因此人脸检测算法的计算速度会跟图像尺寸大小以及图像内容相关。在实际算法时，我们可以通过设置“输入图像尺寸”、或“最小脸尺寸限制”、“人脸数量上限”的方式来加速算法。
人脸配准
“人脸配准(FaceAlignment)”所实现的目的是定位出人脸上五官关键点坐标。
人脸配准算法的输入是“一张人脸图像”和“人脸坐标框”，输出是五官关键点的坐标序列。五官关键点的数量是预先设定好的一个固定数值，常见的有5点、68点、90点等等。
当前效果的较好的一些人脸配准技术基本通过深度学习框架实现。这些方法都是基于人脸检测的坐标框，按某种事先设定规则将人脸区域抠取出来，缩放到固定尺寸，然后进行关键点位置的计算。另外，相对于人脸检测，或者是后面将提到的人脸特征提取的过程，人脸配准算法的计算耗时都要少很多。
人脸属性识别
“人脸属性识别(FaceAttribute)”是识别出人脸的性别、年龄、姿态、表情等属性值的一项技术。这在有些相机APP中有所应用，可以自动识别摄像头视野中人物的性别、年龄等特征并标注出来。
一般的人脸属性识别算法的输入是“一张人脸图”和“人脸五官关键点坐标”，输出是人脸相应的属性值。人脸属性识别算法一般会根据人脸五官关键点坐标将人脸对齐，具体过程为旋转、缩放、抠取等操作后，将人脸调整到预定的大小和形态，以便之后进行属性分析。
人脸的属性识别包括性别识别、年龄估计、表情识别、姿态识别、发型识别等等方面。一般来说每种属性的识别算法过程是独立的，但是有一些新型的基于深度学习实现的算法可以实现同时输出年龄、性别、姿态、表情等属性识别结果。
人脸提特征
“人脸提特征(FaceFeatureExtraction)”是将一张人脸图像转化为可以表征人脸特点的特征，具体表现形式为一串固定长度的数值。
人脸提特征过程的输入是“一张人脸图”和“人脸五官关键点坐标”，输出是人脸相应的一个数值串(特征)。人脸提特征算法实现的过程为：首先将五官关键点坐标进行旋转、缩放等等操作来实现人脸对齐，然后在提取特征并计算出数值串。
人脸比对
“人脸比对(FaceCompare)”算法实现的目的是衡量两个人脸之间相似度。
人脸比对算法的输入是两个人脸特征人脸特征由前面的人脸提特征算法获得，输出是两个特征之间的相似度。
人脸验证
“人脸验证(FaceVerification)”是判定两个人脸图是否为同一人的算法。
它的输入是两个人脸特征，通过人脸比对获得两个人脸特征的相似度，通过与预设的阈值比较来验证这两个人脸特征是否属于同一人。返回搜狐，查看更多
深度人脸表情识别研究进展
近年来，随着人工智能与人机交互技术的发展，人脸检测、对齐、识别技术的不断跟进，自动人脸表情识别由于其潜在的社交媒体分析和情感计算能力而成为了计算机视觉领域的热点研究话题，并在众多商业场景中有着巨大的应用前景。
图片来自网络
推荐《中国图象图形学报》2020年第11期“基于视觉的情感感知技术与应用”专刊论文《深度人脸表情识别研究进展》。论文由《中国图象图形学报》编委，北京邮电大学模式识别实验室邓伟洪教授团队撰写，对近十年来深度人脸表情识别方法的研究现状以及相关人脸表情数据库的发展进行了归纳概括，对该领域的未来研究方向和机遇挑战进行了总结和展望。
01论文信息
论文标题：深度人脸表情识别研究进展
作者：李珊，邓伟洪
第一作者单位：北京邮电大学人工智能学院
引用格式：
Li S, Deng W H . 2020. Deep facial expression recognition: a survey. Journal of Image and Graphics,25(11): 2306-2320.(李珊, 邓伟洪. 2020. 深度人脸表情识别研究进展. 中国图象图形学报, 25(11): 2306-2320.) [DOI: 10.11834/jig.200233]
论文链接：
http://www.cjig.cn/html/jig/2020/11/20201102.htm
02论文看点
图片来自网络
1）论文介绍了人脸表情识别的相关背景知识，并对表情识别领域数据库和算法的演化和发展进行了概述。根据处理数据对象不同，论文将现有深度人脸表情识别技术分为两大类，并分别对这两类方法中新颖的人脸表情识别技术以及相关网络训练技巧进行了归纳概括和介绍。
2）基于目前常见人脸表情数据库，论文进一步对代表性深度表情识别方法在不同数据集上的性能进行了比较，并详细统计了不同方法所对应的网络框架和具体表情识别结果。除此之外，论文还对不同类型的网络框架技术从模型计算量、识别精确度、存储空间、计算效率等方面进行了优缺点的比较。
3）论文指出了目前自动人脸表情识别领域仍需攻克的难点问题和现有方法所存在的局限性，根据相关技术和笔者经验梳理提供了一些可行的解决方案，并进一步指出了人脸表情识别领域的未来研究方向。
03
基于深度学习的人脸表情
识别技术
根据所处理数据的不同，基于深度学习的人脸表情识别技术主要可以分为两大类：基于静态图像的人脸表情识别网络和基于动态序列的人脸表情识别网络。
1）对于静态人脸表情识别网络，其中多网络融合模型在特征层次或者决策层次融合了不同子网络的优点。然而，设计不同类型用于互补的子网络也大大增加了模型计算量和储存空间。此外，不同子网络权重参数的多度优化易导致模型在测试集上的过拟合。
多任务网络则在训练表情识别任务的同时也考虑了其他与表情相关联的任务， 例如面部特征点定位，面部肌肉单元检测和人脸识别，从而排除了与表情无关因素的干扰。该方法的主要局限在于其要求更多与其他任务相关的标签参与训练，并使得训练量更大。级联网络则通过将不同子网络串联在一起逐步加强了模型的判别能力。
该方法能够有效避免过拟合问题并排除与表情无关因素的干扰。此外，生成对抗网络因其可生成高质量目标样本的优点也逐渐被用于表情识别领域中进行姿态不变的表情识别或者增加训练样本的数量和多样性。
图片来自网络
2）对于动态人脸表情识别网络，其中RNN及其扩展LSTM作为基础时序网络结构被广泛运用于视频序列的学习。然而固有网络结构使其难以捕捉到有效的图像卷积特征。而三维卷积网络则能更好地学习出图像特征，但其中的三维滤波结构往往只覆盖了短时间内的序列而忽略了长范围内的动态变化。
人脸关键点轨迹则是依据人脸生理结构捕捉人脸形状特征在时间序列内的动态变化。该方法计算量小而且不受光照等无关因素的干扰。但是其对面部特征点定位的精确度要求较高。
级联网络则是首先提取有表情判别能力的空间特征然后将该信息依次输入到时序网络中进行时序信息的编码。而多网络融合则是同时训练两个子网络分别用于捕捉时序信息和空间信息，然后将其输出结果进行加权融合。
04挑战与展望
1）真实世界人脸表情数据标注不足问题
在数量和质量上均较为匮乏的数据库是当今深度人脸表情识别系统面临的主要挑战。由于不同年龄段、不同种族和不同性别的人表达和解析面部表情的方式也不同， 一个理想的表情数据集应该包含除了表情标签之外，各种丰富且精确的其他面部属性标签，例如年龄、性别和种族。
然而对大量携带复杂自然场景变 化的数据进行精确的标注的难度很大。对此一个可靠的解决方式是在专家的指导下对数据进行多人的众包标注。
2）数据集的偏差和不平衡分布问题
由于收集条件的不同和标注的主观性，数据偏差和不一致的标注问题在不同人脸表情数据库中也十分常见。通过在数据库内进行评估的算法往往缺乏对未知测试数据的普适性，其性能将会在跨库实验中明显恶化。深度领域自适应和知识蒸馏则是解决这一偏差问题的有效方法。
此外表情数据还存在类别不平衡问题，在一定的表情模型下，小样本和不平衡分类问题在表情识别任务中长期存在，如何引入相应新技术将是该领域未来重点研究方向。
3）多类表情模型协同工作
面部肌肉可以组合出上千种动作，基本表情只涵盖了小部分动作类别。其他表情模型则可以涵盖更大范围的表情类型，如面部动作单元编码模型中不同面部肌肉相互结合用来述表情的面部变化；维度模型中两个连续值变量，即效价和唤醒度，能够连续地编码出表情强度的细微过渡。
针对如何有效地利用这些模型，可以有以下几种思路。首先在设计网络参数时可以针对面部不同区域对表情的贡献值来赋予不同权重。其次也可以基于注意力机制来强调与面部肌肉单元最相关的区域，从而使模型能够学到具有表情判别性的特征表示。
4）多模态表情识别技术
尽管基于可视人脸图像的表情识别能够取得不错的效果，但与其他模态结合到一个高层框架中能够提供互补信息从而进一步增强模型的鲁棒性。例如，可以将音频模态作为次重要的因素与图像信息相融合来进行多模态的情感识别。
此外，红外图像、三维人脸模型的深度信息、人体生理信息以及手势姿态也可以作为面部表情的互补数据来辅助情感识别。将表情结合语音、文字、脑电信号的多模态表达识别是非常值得研究的问题，它将使得机器可以读懂人类的内心，人机交互将变得更加自然流畅，疲劳驾驶监控、犯罪心理测试技术、自闭症医疗服务等实际应用可以得到落实。
05作者简介
李珊，北京邮电大学博士研究生，主要研究方向包括人脸表情识别以及深度学习。
E-mail: ls1995@bupt.edu.cn
邓伟洪，北京邮电大学教授，博士生导师。主要研究方向为模式识别与计算机视觉、人脸识别、表情识别、行人再识别、细粒度图像识别， 以及视觉识别中遇到的瓶颈问题，深度迁移学习与度量学习的理论研究。E-mail：whdeng@bupt.edu.cn
团队介绍
北京邮电大学模式识别实验室(http://www.pris.net.cn)于1998年依托信号与信息处理国家重点学科以及模式识别与智能系统信息产业部重点学科而创建。实验室长期从事模式识别、信息检索、网络管理等方面的研究，主要研究内容包括：互联网（论坛、博客、微博）舆情分析；互联网图片检索及过滤、视频检索及过滤、语音识别及过滤、信息检索与过滤技术、演进式多媒体过滤技术、网络管理技术等。
实验室现有教师20余名，其中教授4名，副教授10余名。实验室承担了科技部重点研发专项、无线重大专项、国家863、国家自然科学基金重点项目、教育部重点项目在内的国家级项目20多项。近5年来，实验室总计发表论文200多篇。实验室研发的手写汉字识别、文本分类、人脸检测等多个项目在国家863组织的技术评测中荣获第一名，成果已在华为、中兴、滴滴出行等知名公司实现转化。
END
备注：人脸
人脸技术交流群
人脸检测、识别、对齐、重建、表情识别、表情迁移等技术，
若已为CV君其他账号好友请直接私信。