AI 视频分析识别系统技术分析
AI视频分析识别系统
关键字:AI视频行为识别分析系统、AI视觉分析系统、AI图像识别分析系统、AI识别系统、AI行为分析系统
概述背景人工智能大时代背景下，视频应用领域相关的行业应用方式已经发生了深刻的变化，各论安防监控还是各类垂直行业视频应用，都需要AI视觉分析与识别技术助力，而且需求广泛而迫切。在应用层面，以AI分析识别技术为核心，集传统视频监控和行业相应传感器/预警等设备一并接入管理并相互联动的一体化综合管理成了刚性应用需求，由此，深圳融合永道科技有限公司早在2012年就已以此方向，研发新一代AI智能视频一体化平台软件，深挖行业需求，响应时代号角，向AI领域进军。
目标本平台在我司AI-MIS分析识别算法中间件为核心的技术框架下,以AI人工智能机器视觉技术为支撑，以AI视频应用为核心，把实现客户需求为目标。细化应用规则，在良好的横向业务应用规则扩展支持的同时，又重视纵向的技术深度化研发。持续研发适配更多的场景业务，为社会治安治理、保障安全生产提供有力的技术手段。
系统架构2.1系统网络拓朴图2.1.1局域网模式典型应用
备注:本模式为局域网环境下典型应用，所有设备都接入在同一个局域网下,AI系统服务器可以接入各式各品牌的网络摄像头和硬盘录像机，也可以对接一些报警设备和传感器设行。
客户端管理电脑登录连接主服务器，在客户端软件用户界面统一管理系统。
一台主AI服务器支持接入多台从AI服务器，实现堆叠接入管理，便于系统扩容。
2.1.2多分部本地AI系统互联网应用
备注:本模式为多个分散在各地的分部AI系统，将报警事件统一上传云平台，通过IE客户端连接云服务器访问，本地AI系统架构为局域网模式，只要将本地AI服务器设置指向云管理服务器地址信息即可完成联网。本模式特点：两级架色，本地局部单元系统（本地运算),中心系统统一所有分部的本地系统的接警记录
2.1.3互联网/大型多级局域网后台分析模式
备注:
2.2AI-MIS算法中间件2.2.1AI-MIS算法中间件简介AI-MIS采用人工智能机器视觉“深度学习”技术底层架构，结合应用级算法，采用组件化设计，方便扩展算法类型，同时具备强大的样本处理能力，样本自动化生产标签能力，可以高效研发新算法组件。
2.2.2算法模块序号
名称
备注
1
对象类别识别能力
人,跌倒的人,吸烟,眼镜,背包,安全带,反光衣,帽子,厨师帽,安全帽,手机,口罩,手提包,路面坑洞,蒙面,人脸正面,人脸侧面,举手,持刀,持枪,持棍,小汽车,自行车,摩托车,面包车,大客车,中巴车,火车,出租车标志,挖掘机,自卸货车,灌式货车,货柜车,渣土车,飞机,风筝,狗,猫,牛,马,鸟,老鼠,蟑螂,壁虎,行李箱,打包箱,手,三轮车,轮椅,火,烟柱,蛇
2
拌线探测
本算法规则在视频内划线，指定布控对象类别，系统检测当布控对象经过线条时，触发抓拍事件;对象长时间停留在线条上，则每隔N秒后触发一次抓拍事件，由用户指定检测哪一种对象或多个对类别
本算法规则通常应用于检测某种对象经过，如人员越界，车辆进出，动物出入等。
3.
AB线探测
本算法规则在视频内划两条线，指定布控对象类别，系统检测当布控对象经过A线条再经过B线条时，触发抓拍事件;反之则不触发
本算法规则通常应用移动方向要求的某种对象经过，如人员越界，车辆进出，动物出入，逆行，不按方向行驶等。
4
对象滞留侦测
本算法规则在视频内绘制一个矩形或多边形布控区域，设定某种对象长时间滞留在布控区域内(设定超过指定的N秒后)，产生抓拍事件
本算法规则通常应用于周界预警，车辆违停，人员排徊
5
区域入侵侦测
本算法规则在视频内绘制一个矩形或多边形布控区域，指定某种对象经过布控区域内，跟踪并产生抓拍事件
本算法规则通常应用于周界预警
6
对象移走探测
本算法规则在视频内绘制一个矩形或多边形布控区域，设定必须有某种对象存在于布控区域内，如果在设置的时间范求没有检测到该对象，则产生抓拍事件
本算法规则通常应用于保安离岗或卫兵离岗、贵重物品看护
7
进入AB区域探测
本算法规则在视频内绘制两个区域，指定布控对象类别，系统检测当布控对象经过A区再经过B区时，触发抓拍事件;反之则不触发
本算法规则通常应用移动方向要求的某种对象经过，如人员越界，车辆违规变道，不按方向行驶、逆行等。
8
人群聚集探测
本算法规则在视频内绘制区域，设置区域内人数超过N人时，产生人群聚集抓拍事件
9
车辆拥堵探测
本算法规则在视频内绘制区域，设置区域内车辆数量超过N时，产生车辆拥堵抓拍事件
10
区域人流统计
本算法规则在视频内绘制区域,跟踪进入区域的人员，当人员离开区域时产生一次抓拍记数事件
本算法规则应用于区域性人数统计
11
有人跌倒
本算法规则在视频内绘制区域,跟踪进入区域的人员，当人员在区域内跌倒时产生一次抓拍事件
本算法规则通常应用于敬老院、社区、看护老人是否跌倒预警。
12
对象静止探测【警门睡岗】
本算法规则在视频内绘制区域,跟踪进入区域的人员，当人员处于静止状态时产生一次抓拍事件
本算法规则通常应用于识别警/门卫是否正在睡觉的行为
13
烟火探测
本算法规则在视频内绘制区域,识别布控区域内产生火苗或烟柱时产生抓拍事件
本算法规则通常应用于消防安全场所
14
打电话
本算法规则在视频内绘制区域,识别布控区域内人员打电话时产生抓拍事件
本算法规则通常应用于石油化工，防止打电话时的无线电流触发火灾;另外防止一些安全生产区域，防止员工因打电话造成安全事故
15
未戴安全帽识别
本算法规则在视频内绘制区域,识别布控区域内人员未戴安全帽时产生抓拍事件
本算法规则通常应用于工地、安全生产车间，防止员工戴安全帽，以免引发安全事故
16
对象快速移动探测
本算法规则在视频内绘制区域,识别布控区域内人员快速移动时产生抓拍事件
本算法规则通常应用于监狱，当有人快速移动时，及时预警
17
黑名单人脸识别预警
本算法规则在视频内绘制区域,识别布控区域内人员是否为黑名单人员，如果为黑名单人员则产生抓拍事件，及时预警通知安全人员处置等
本算法规则通常应用于单位或社区，或公安布控,及时发现黑名单人员便于工作人员及时处置
18
人车识别跟踪
本算法规则在视频内绘制区域,跟踪识别进入区域内的人员(人脸识别)和车辆(车牌识别),产生抓拍事件
本算法规则应用多摄像头人员或车辆跨镜轨迹跟踪
19
出入人流计数
本算法规则是在视频内绘制两条线，即A线和B线，当人员从A线再到B线时，触发一次人流计数抓拍事件，通常应用于具有方向性的人流计数统计场所
20
未戴手套识别
本算法规则在视频内绘制区域,识别布控区域内人员未戴手套时产生抓拍事件
本算法规则通常应用于需要戴手套的工作场景，防止员工不戴手套，以免影响卫生或其它安全事件
21
吸烟识别
本算法规则在视频内绘制区域,识别布控区域内人员吸烟时产生抓拍事件
本算法规则通常应用于消防安全场所
22
有人持刀识别
本算法规则在视频内绘制区域,识别布控区域内人员有人持刀时产生抓拍事件,及时预警
本算法规则通常应用于校园安全监控
23
未戴口罩识别
本算法规则在视频内绘制区域,识别布控区域内人员未戴口罩时产生抓拍事件
本算法规则通常应用于厨房或其它需要戴口罩的工作场景，防止员工不戴口罩，以免影响厨房卫生或其它安全事件
24
未戴厨师帽识别
算法规则在视频内绘制区域,识别布控区域内人员未戴厨师帽时产生抓拍事件
本算法规则通常应用于厨房工作场景，防止员工不戴厨师帽，以免影响厨房卫生环境
25
外来人员人脸识别
算法规则在视频内绘制区域,识别布控区域内人员不是内部人员时产生抓拍事件
本算法规则通常应用于单位或社区，防止闲杂人员进入
26
白名单人脸识别
算法规则在视频内绘制区域,识别布控区域内人员是否为内部人员，如果为内部人员则出入口通行放行、联动开门、考勤记录、会议签到等
本算法规则通常应用于单位或社区，防止闲杂人员进入
27
打架行为识别
本算法规则支持识别有人打架行为，及时预警
28
未穿反光衣识别
检测人员是否穿反光衣,或同行人中是否有人穿反光衣
29
未戴安全带识别
检测人员是否未戴安全带
30
石油石化工人工服识别
检测人员是否有穿工装，目前只支持中石油中石化工人工服识别
31
骑车不戴头盔
支持检测骑自行车、电动车、三轮车的人员未戴头盔
32
举手求救
支持检测人员举手方式发出求救信号
33
货车违规载人
支持检测各类货车违规载人，或家用三轮车载人抓拍
34
汽车车牌识别
支持各种汽车号牌识别，兼容新能源汽车车牌识别,兼容香港车牌识别
35
两轮电动自动车车牌识别
支持各种自动摩托车/自行车白牌、黄牌、蓝牌号牌识别
36
人数限定
支持设置视频场景内小于指定的人数参预警或大于指定的人数预警
2.2.3算法定制能力AI-MIS中间件采用组件化架构，因此具有强大的可扩展性，完备的生产工具组件，使得AI-MIS中间件可以支持快速的定制新业务算法，在不需要太多改动上层业务代码的情况下，高效的研发和训练生产新型算法规则。
2.3系统环境说明本系统采用跨平台主式编写底层算法，和上层应用软件，理论上可以适配支持任何操作系统，目前经过测试的操作系统为ubuntu18.04和Windows7/8/10/12/16,本系统数据库为了更好的适配算法，提高查询速度和大数据存储，采用了自研数据库AIDB。
功能模块3.1实时预览3.1.1AI通道实时预览客户端预览功能界面，支持实时预览AI节点通道实时视频，该视频带有分析叠加效果，支持云台控制、支持预置位管理、捕图、画面双击放大、全屏等操作。
3.1.2监控通道实时预览客户端预览功能界面，支持实时预览监控摄像头节点通道实时视频，该视频不带有分析叠加效果，支持云台控制、支持预置位管理、捕图、画面双击放大、全屏等操作。
3.1.3视图管理
在客户端预览功能界面内，支持将已经打开的视频保存为视图模板，支持创建9999个视图，可以设定客户端启动后自动加载模板。
3.1.4云台控制在客户端预览功能界面内，支持将已经打开的视频进行云台操作，默认支持向左、向左、向上、向上、左上、右上、左下、右下、拉远、拉近、转到预置位等操作，支持创建自动定时执行预置位计划。
3.2数据查询客户端具有数据查询功能界面，支持选中某个通道、事件类型、时间范围查询系统智能抓拍通道产生的报警抓拍数据，支持将查询到的数据(含图片)下载到客户端本地磁盘。
3.3统计分析
系统内器海量统计分析模块，自动计数每一种事件类型数据，统计粒度最小单位为小时，支持按每日、月、年、时间段、通道等方式快速查询统计数据。
3.4档案管理
系统支持人员档案管理和车牌档案管理，人员档案管理主要应用人脸识别黑白名单和访客管理应用，黑名单人员主要应用于人脸识别发现黑名单人员预警，白名单人员主要应用于单位内部人员出入口通行管理、考勤和会议签到管理。
车辆与号牌管理主要应用于出入口车辆通行管理（不涉及收费）。
3.5系统配置
在系统配置功能模块内，管理员用户可以操作设置如下功能：
AI通道相应的摄像头及分析识别算法应用规则
监控通道相应的摄像头，及设置是否录像等
上传第三方平台http协议配置
联动邮件发送配置
系统维护操作（系统重启、时间同步）
3.6二次开发本系统提从如下二次开发协议接口：
第三方Http请求协议,由用户向本系统发起httppost请求响应操作，系统接收到命令后，执行相应的操作，主要包含：请求系统通道列表，查询通道的抓拍事件记录，拉取图片，添加人员（人脸），查询人员，删除人员，检测人脸，检测对象等接口系统主动上传抓拍事件Http协议,由用户在系统配置添加第三方接收ip地址和端口信息，系统将抓拍事件记录实时上传到此第三方ip地址端口，具体协议请查阅相应的文档Socket方式实时视频传输和抓拍事件实时接收协议，系统由通过SocketTCP通讯方式向系统拉取视频流（含分析叠加信息）、订阅接收报警事件，详情可查阅对应的DEMO程序。系统性能参数
序号
项目
备注
1
系统用户数
最大支持9999个用户同时在线
2
事件记录最大数量
最大支持1024亿条记录存储，查询响应速度不高于3秒
3
AI服务器堆叠数量
支持1024台AI服务器
4
监控摄像头接入数量
最大支持900000个监控摄像头
5
抓拍事件接收时间
少于1秒
6
单个AI通道叠加分析规则数量
最大可同时添加16个算法同时运算
7
欢迎电话联系，一起交流AI行为分析系统技术开发事宜TEL&WX:13570895778
智能机器人的核心技术和技术指标总结
机器人具备三大核心技术：自然语言处理、自主意识及自主导航。自然语言处理机器人采用基于深度学习算法的自然语言处理技术，设计一个语音识别处理引擎，使机器人可以理解人的语言，并且根据知识库的内容，针对人提出的问题，通过语音的方式回答。
自主意识
为使其像人类一样思考，机器人模拟人类的思维模式，接收外界信息后，能够以人类智能相似的方式做出反应，建立机器人的自我意识，与用户进行语音交流，使用户消除人机交互带来的机械感。机器人能够通过感知系统了解周围情况，并且建立一个初级交流场景。五大感知系统包括：视觉系统，听觉系统，传感器系统，本地系统，云端大脑系统。人类感知外界通过各个感官系统，机器人通过拟人的感知系统，促进机器人的感受和收集外界信息的能力。
自主导航
机器人的自主导航、自主避障和自主定位功能是服务机器人的基本特征和核心技术，在不需要轨道的前提下，机器人很好的实现了以上功能。对机器人而言，完成自主导航，需要解决以下三个问题：
"在哪儿？
"到哪儿去？
"如何去？
对应的技术问题：建立环境地图，标记机器人在地图中的当前坐标指令目标点与地图坐标的匹配，自主导航算法、实时定位和环境检测。
关键技术描述：
A算法
基于栅格地图的实时定位和路径规划方法，特点是实时刷新障碍物信息，规划到目标点的最短路径双目测距利用双目视觉，根据同一特征点在不同摄像头的像素坐标差异，求解特征点的三维坐标里程计利用电机编码器，测定轮速和转角，实时估算机器人坐标
和方位角
运动控制根据编码器返回的速度信息，利用PID算法实现轮速精确控制，进而实现机器人的速度和位置精确控制超声波全局定位机器人上的超声波阵列接收基准声源信号，利用三角定位原理测算机器人相对声源坐标和方位局部障碍物识别利用超声波传感器实时标记近距离环境障碍
技术指标
头顶触摸：触摸距离，≤5mm。感应面积，头顶正中心5厘米*5厘米；
后部扩展接口：TF卡接口最大支持64G。USB接口USB2.0供电最大0.5A；
麦克红外感光：MIC双路，灵敏度1.5米max，闪光灯，双路，功率0.5W*2
红外发射遥控，波长940nm，功率0.3W；
触摸屏：电容5点触摸。分辨率32*24线；
液晶显示屏：IPS1280*800；
主摄像头：分辨率最高500W。传感器类型，CMOS；
头部转动角度：240°MAX；
电源开关：寿命＞1W次。
SOS开关：寿命＞1W次
充电接口（莲花插座）：寿命＞1000次插拔。
空气检测模块：PM2.5传感器，检测颗粒范围，0.3-10um。工作温度-10~+50°
C工作湿度0~95%RH（非凝结）。测量误差±20%。寿命＞10000小时。
异味传感器：类型，半导体气敏器件。检测气体，氨气、硫化物、苯系蒸汽、
烟。检测浓度，10-1000ppm。预热时间＜1分钟。
温度传感器：0-50°C±2°C。
湿度传感器：20-90%RH±4%RH。
投影仪：类型DMD。流明＞230lm。LED寿命20000小时。分辨率1280*720。
电池：容量24V17AH，铅酸蓄电池，循环寿命＞300次。
电池参数：输入电压MAX 29.2V，输入电流MAX 3A，充电时间MAX 7小
时。
充电桩参数：输入电压AC140-240 频率50-60HZ 电流2Amax，输出电压
DC29.2V，电流3Amax。