智能网联感知与识别技术.pdf

1、智能网联感知与识别技术合肥工业大学车辆工程系主任安徽省智能汽车工程研究中心主任张炳力 博士 教授/博导2024年9月27日报告内容一、智能感知技术发展历程二、应对复杂天气的环境自适应感知方法三、智能感知技术发展趋势四、团队相关成果介绍智能感知技术发展历程 环境感知就是利用视觉、激光雷达、毫米波雷达、超声波雷达以及V2X通信技术等获取道路交通参与者的类别、位置、速度等信息，并将这些信息传递给车载控制中心（智能驾驶域控制器），为智能网联汽车提供决策依据，是实现自动驾驶的前提条件。智能驾驶感知系统构成信息采集单元信息传输单元信息处理单元惯性原件视觉传感器激光雷达毫米波雷达超声波雷达定位导航V2X信息

2、车辆识别行人识别车道线识别交通标志识别交通信号识别显示系统报警系统传感器网络车载网络环境感知系统组成智能感知技术发展历程u视觉图像的信息极为丰富，尤其是彩色图像。u视觉信息获取的是实时的场景图像。u在视野范围内可同时实现车辆、行人、车道线、交通标志、交通信号灯的识别。u视觉传感器应用广泛，在智能网联汽车中常以前视、后视、侧视、内视、环视等体现。单目摄像头双目摄像头三目摄像头视觉传感器特点智能感知技术发展历程激光雷达特点u分辨率高，激光雷达可以获得极高的角度、距离和速度分辨率。u探测范围广、探测距离可达300米左右。u信息量丰富，可直接获取探测目标的距离、角度、反射强度、速度等信息，生成目标多维

3、图像。u全天候工作，激光主动探测，不依赖于外界光照条件或目标本身的辐射特性。智能感知技术发展历程u探测距离远，最远可达250米左右。u响应速度快，速度接近光速，并且调制简单，配合高速信号处理系统，可以快速的测量出目标的角度、距离、速度等信息。u适应力强，毫米波具有很强的穿透能力，在雨、雪、雾等恶劣天气依然可以正常工作，并且不受颜色与温度的影响。u毫米波雷达的缺点是覆盖区域呈扇形，有盲点区域；无法识别道路标线、交通标志和信号灯。毫米波雷达特点智能感知技术发展历程超声波雷达特点u超声波雷达是一款极其常见的车载传感器，是汽车驻车或者倒车时的安全辅助装置，能以声音或者更为直观的显示器告知驾驶员周围障碍

4、物的情况，但探测距离有限。u超声波雷达一般安装在汽车前后保险杠上和汽车侧面，泊车辅助系统通常使用6-12个超声波雷达。智能感知技术发展历程环境感知传感器对比 单传感器的数据可靠性低、有效探测范围小等局限性，因此需要利用传感器信息融合技术扩大信息维数避免单个传感器的工作盲区，从而得到所需要的环境信息。智能感知技术发展历程 由于高精度地图的更新维护成本过高，更多车企推出“无图智驾”功能，这就要求开展更高端的智能车辆环境感知技术研究。当前，智能车辆环境感知技术主要依赖于雷达、视觉等车载传感器。特斯拉在BEV网络基础上研发占领网络，实现环境感知纯视觉方案。但仅凭单一传感器工作无法完成智能车辆准确、高效

5、的环境感知。华为等公司开展BEV+Transformer大模型多传感器融合感知，基于传感器融合的目标识别方法实现各传感器的优势互补，并通过融合决策协调各传感器之间的冲突，大大提高了系统的准确性和可靠性。激光雷达、摄像头和毫米波雷达的融合是当前智能驾驶汽车环境感知的主流解决方案。单传感器感知到多模态融合传感器蔚来ES7小鹏G9理想L9特斯拉激光雷达1个2个1个0个毫米波雷达5个5个1个1个超声波雷达12个12个12个12个感知摄像头11颗 前向：三目摄像头12颗 前向：双目摄像头11颗 前向：双目摄像头9颗 前向：三向摄像头芯片4颗英伟达Orin2颗英伟达Orin2颗英伟达Orin4颗特斯拉FS

6、D算力1016TOPS508TOPS508TOPS144TOPS智能感知技术发展历程智能感知技术发展历程单传感器感知目标级融合感知特征级融合感知数据级融合感知初期，智能车辆采用单种传感器进行环境感知，检测精度有限。为提高检测精度，部分工作利用匈牙利匹配等方法将不同传感器的感知结果融合。1990年代2000年代初期2010年代中期2020年代基于BEV的特征级目标感知1）目标级融合（后融合）也称决策级融合，是Low-level融合，松耦合，对各自传感器识别出的目标信息进行匹配融合。兼容多源异构数据，更加面向应用。计算量及对通信带宽的要求最低，但是信息损失相对较大。2）特征级融合（中期融合）相对中