数据智能与计算智能
以服务于高度智能化的机器感知和机器认知系统为核心，数据驱动和知识引导相结合，以结构化与非结构化数据为对象，开展数据智能、计算智能、智能信息系统等层面的研究工作，实现以数据为基础、计算为手段的人工智能新方法。
主要研究内容包括：面向序列数据、自然语言、图像数据等多模态数据的语义表征，复杂系统状态的智能感知、语义分析和挖掘，大规模图结构数据的管理（知识图谱等）、表征学习（图神经网络等）和挖掘，知识抽取和知识推理，计算智能（烟花算法等）理论与方法，强化学习和多智能体系统，以及数据智能和计算智能行业应用系统的研发。
近年来，承担数20余项国家级、省部级、国际合作以及企业横向合作资金支持，包括国家重点研发计划、国家自然科学重点基金和原创探索项目等。在领域顶级期刊和会议发表学术论文100余篇，出版专著6部。获得教育部自然科学奖二等奖1项，北京市自然科学奖二等奖2项，CCF自然科学二等奖1项，最佳研究论文奖2篇。与企业共建“北大-阿里妈妈人工智能创新联合实验室”和“超级自动化联合实验室”，与中国航天、中国航空、国家电网、交通运输部路网中心、北京市城市环境委、北京市城市管理执法局、中国移动集团公司、华为等开展广泛合作，积极服务国家重大需求和地方经济发展。
智能机器人
智能机器人以实现高度智能化的机器人系统为目标，重点解决环境感知和运动行为能力学习问题，以期推动智能机器人领域的尖端研究发展，实现智能机器人技术在多行业服务协作中更广更深的应用落地。
主要研究内容包括：聚焦于复杂动态场景的环境感知技术、基于具身智能的机器人认知架构技术、借鉴人认知机理的发展学习与推理决策技术、基于感知运动协调机理与联合协同机制的机器人自主行为控制技术等。
承担国家级、省部级以及其它科研项目数十项，发表学术论文百余篇，申请国家发明专利十余项。获得湖北省科技进步二等奖（2017）、信息交互与信号处理国际会议(ICICSP)最佳论文奖（2022）、获世界机器人大会（WRC2019）最佳论文提名奖（2019）、IEEE信息与自动化国际学术会议(IEEEICIA)最佳论文提名奖（2015、2016）、第23届人工智能国际联合大会IJCAI“机器人技能国际竞赛”一等奖FirstPrizeAward（2013）等奖项。
信息认知与智能系统研究所简介
信息认知与智能系统研究所(由原图像图形研究所、网络与人机语音通信研究所合并组建)隶属一级学科为“信息与通信工程”，二级学科为“信号与信息处理”，信息认知与智能系统研究所聚焦人工智能基础理论和主要应用领域，以跨媒体信息的感知获取、检测识别、认知理解为学科发展方向，重点开展图像、视频、语音和网络信息的采集获取、感知认知、分析理解等智能处理研究开发工作。研究所隶属于危爆物品扫描探测技术国家工程实验室、深度学习技术与应用国家工程实验室及北京信息科学与技术国家研究中心的一部。
研究所形成了多源异构跨媒体信息感知与认知计算、多模态智能体脑计算与软硬一体化系统、智慧医工与智能医疗等3个有特色优势的研究方向。研究所学科定位是以面向大数据背景下国家公共安全保障战略需求为导向，在图文OCR、生物特征识别、遥感图像分析、语音信号处理与声纹识别、网络舆情情感计算、计算成像、智慧医疗与智医助理、三维重建、智能视频安防、目标检测识别、图像认知理解等方向开展跨媒体大数据关键技术和重大工程攻关以及人才培养，为国家物理空间安全、网络空间安全、平安城市与跨媒体智能系统方向国防军事公共安全现代化和国家经济建设提供科技支撑和人才保障。
本研究所科研成果丰硕，至今已获得全国科学大会奖1项、国家科技进步奖5项、省部委学会科技奖励10多项等荣誉。本研究所致力于培养基础理论坚实，科学学识广博，系统开发能力突出，具有高度科技创新能力的高层次专业人才。目前所内负责开设的本科生课程28门、研究生课程27门。每年招收博士生和硕士生各10多名。所内设有博士后流动站，每年进站博士后约5名。现有教师22人，博士研究生和硕士研究生100余人，博士后6人。
信息认知与智能系统科研工作广泛涉及人工智能理论与技术的各个重要研究领域，形成了5个主要研究方向：
一、跨媒体智能与认知计算基础理论研究。主要包括
（1）知识+数据的类脑计算模式研究，新一代人工智能需要突破传统深度学习依赖大量数据的痼疾，发展知识+数据理论
（2）特征表征与知识表示研究。研究不同模态的特征表征和不同语义表达模式，从各模态数据中对信息进行识别、分析和推理；建立感知和认知模型。
（3）跨媒体统一语义表达与融合认知计算研究。人类视听觉感知与图像语音和文本的信息融合理解密切相关，力争突破计算机对跨媒体认知、理解的瓶颈，跨越不同模态间语义鸿沟。
二、智能体脑计算软硬一体化技术关键技术研究。主要包括
（1）智能体脑计算与智能无人技术研究。面向新一代人工智能发展和机器智能化重大需求，聚焦无人智能体的未来重要发展方向。
（2）目标识别、跨媒体统一语义表达、知识表示、融合认知研究。将算法在嵌入式智能体传感器硬件层面实现，为智能体脑计算软硬一体化提供技术支撑。
（3）多模态智能无人体系统研发。构建智能体大脑软硬一体化计算平台，为空天地海跨域情报分析，公共安全，协作机器人、无人驾驶、无人机、智慧医疗等多种智能体提供高效AI大脑关键技术。
三、多域多源异构信息感知与认知计算研究。重点研究机器学习深度学习，计算成像，统一语义表达物体检测与识别，语音识别与NLP、智慧公共安全技术等。实现空天地网多域多源视听目标检测，智慧校园社区，网络开源情报综合分析（让机器看懂、听懂、理解世界）
四、多模态协作机器人与智能无人系统研究。重点研究软硬一体化智能体，以无人为核心，以协作为特点，研发协作机器人、无人车、无人机等智能无人体。研发多模态协作机器人、家庭服务机器人，医院护理机器人，战场救助机器人（目标：把机器人送上火星），实现机器理解人，机器模拟人。
五、智慧医疗与智慧健康研究。聚焦医学人工智能，研究医疗文本，医学影像，各类临床大数据的分析与理解，面向典型场景和应用，研究医疗文本结构化，病历质检，自动编码技术。对超声，CT，X光等医学影像自动生成报告。同时，围绕先进的可穿戴/非接触传感器核心组件展开研究，采用非接触式传感技术，采集人体生理信号（人脸、舌象、脉搏、呼吸等），构建非接触式信号采集识别的研究体系，通过人工智能算法学习大夫的诊疗方案，进行疾病早诊早筛，开展人体健康主动识别，努力探索医疗健康保障新技术。
智能汽车感知硬件盘点
人类是视觉动物，凭借双眼获取视觉信息、辨别方向和距离。而当你的汽车帮助你驾驶的时候，什么又是它的“眼睛”呢？
答案是车载传感器。它们持续不断地采集环境信息，然后回传给智能汽车的大脑——计算平台。通过感知算法精准地复现出周围环境，再由决策算法基于对周围环境的认知来进行车辆的路径规划。
今天我们就来说说智驾系统感知层面最常见的几种传感器，它们有什么区别？又如何实现互补？
摄像头
摄像头是最常见的汽车传感器，装在车身四周可以从多角度捕捉环境图像，在90 年代就已开始进入商用并逐渐普及。它也是最接近人眼的传感器，能够获取到丰富的色彩和细节信息，比如车道线，指示标志，红绿灯等等。但是，其局限性也非常明显，如果遇到会暗光、逆光等影响“视线”的情况，摄像头也会像人眼一样看不清从而丢失目标。
出隧道时的逆光可能会让摄像头“致盲”
同时，视觉感知技术的核心在于通过软件算法去解析高密度的信息，也就是通过“识别”这些物体并“估测”它们的距离。如果遇到一些“不认识”的物体，比如道路上的异形障碍物等，可能会因为无法全面而准确地感知，从而导致系统做出错误的决策。
也正因如此，仅基于摄像头的智能驾驶方案大多停留在L2 阶段，涉及 L3 级别以上的自动驾驶功能仍存在许多 cornercase 无法完美解决。这时，就需要其他传感器来进行“互补”。
毫米波雷达
毫米波雷达是一种使用毫米波段进行测距、探测、跟踪、成像的主动传感器。它可主动发射电磁波，穿透烟尘，几乎不受光线和天气影响，帮助车辆实时感知周围物体并提供较为准确的距离和速度信息。
但是，毫米波雷达的感知精度并不理想，不具备图像级的成像能力。因为毫米波雷达是利用在目标物体表面的反射、漫反射和散射来进行目标检测和跟踪，所以对于像行人、动物、自行车这一类低反射率的目标，探测准确度也会大打折扣，路面上的静态物体也可能被当成杂波过滤掉了。
另外，4D毫米波雷达其实也是毫米波雷达的一种，并非什么新物种。相比传统 3D 毫米波雷达而言，4D 毫米波多加了一个高度信息，但是分辨率相比激光雷达来说还是有很大差距。
目前市场上的4D 毫米波雷达每帧约输出 1000 多点，而一个 128 线激光雷达每帧输出可达十几万点，二者输出的数据量相差了 2 个数量级之多。
毫米波雷达点云示意
激光雷达
激光雷达也是一种主动传感器，最常见的ToF(TimeofFlight) 测距法，就是通过主动发射激光光束，并测量他们与周围物体反射往返的时间来确定距离和位置。激光雷达通过向外界发出每秒数百万个激光点，可以获取到这些点的三维定位信息，清晰呈现出行人、斑马线、车辆、树木等物体细节，达到图像级分辨率。而且，激光点越密集，分辨率就越高，越能完整且清晰地重构真实世界。
由于其“主动发光”的特性，激光雷达受周围环境光线变化的影响非常小，在一片漆黑的夜间环境也能够“精准洞察”。此外，激光雷达能够直接获取到物体的体积和距离，不像摄像头要靠“猜”，因此针对小型、异形障碍物的检测，应对近距离加塞、隧道、车库等复杂场景，都会有更好的发挥。不过，激光雷达的性能在大雨、雪、雾等极端天气下也会受到一定程度的影响。
真实点云图
综上所述，其实摄像头、毫米波雷达、激光雷达这三种智能汽车上最常见的传感器，各有优缺点。但三个传感器叠加在一起，就能发挥更大的作用。
摄像头是被动传感器，能识别丰富的色彩信息，但受光线影响显著，在一些光线不好的环境下置信度相对较低。毫米波雷达的置信度高，但因分辨率较低，能够识别出的物体类型较少，无法有效感知行人、自行车或更小的物体。激光雷达不论是从测距能力、置信度、可感知物体细节，综合实力都很出色，可能最大的缺点，就是有点“贵”。
但毫无疑问的是，激光雷达的成本正在迅速降低，越来越多的汽车厂商已经将激光雷达集成至了量产车型中，提升智能驾驶系统的安全性与舒适性。随着芯片化技术在不断进化，激光雷达的元器件数量已大幅减少，而且自动化产线的效率上升，也有助于生产成本的下降。激光雷达已经从几年前的百万元级别，降至了目前的几千元级别，成为普通消费者也能用上的“汽车黑科技”。
最后回归到用户需求，一个智能驾驶系统是不是“好用”，还是用户说了算。在感知层面，传感器各有长短版，如何让它们更好地“各司其职”，发挥各自最大的优势才是关键。随着智能驾驶软件能力的不断迭代，相信未来也会逐渐“解锁”更多的硬件潜力，进而赋予消费者更丝滑、更舒适的智驾体验。