端到端评测与开源算法0329 2025-3-31 101631 1.pdf

1、端到端端到端闭环自动驾驶评测与闭环自动驾驶评测与Jittor国国产框架实现产框架实现2025年3月严骏驰严骏驰上海交通大学人工智能学院上海交通大学人工智能学院/计算机系计算机系目 录端到端自端到端自动驾驶范式转变动驾驶范式转变122端到端自端到端自动驾驶开源评测动驾驶开源评测端到端端到端评测中存在的问题评测中存在的问题3基于基于Jittor框架开源算法框架开源算法端到端自端到端自动驾驶范式转变动驾驶范式转变模块后处理模块后处理特征传递特征传递模块化模块化一体化一体化规则驱动规则驱动分立模型分立模型一统模型一统模型任务协同任务协同信息整合信息整合方法转变方法转变多任务协同数据驱动多任务协同数据驱

2、动端到端学习端到端学习数据驱动数据驱动端到端端到端评测中存在的问题评测中存在的问题两大类评测方式：离线开环评测（log-replay）：模型的输出不会影响到自车执行的动作与他车的行为-旁观者视角，在预先采集好的数据集上，逐帧对比模型预测自车未来动作与采集时的记录。不足：忽略了他车反应、累计误差、动力学使用轨迹欧几里得距离作为评测基准，不能反映驾驶好坏简单直行数据较多，没有真正评测复杂交互能力逐帧对比动作不同高L2误差低风险场景低L2误差高风险场景真实开车端到端端到端评测中存在的问题评测中存在的问题两大类端到端评测方式：闭环评测：给定起点终点，让模型开车，根据安全性、高效性、舒适性等打分。优势:

3、与真实应用时的效果相关性更高挑战:想使用真实世界渲染，只能使用静态log回放使用CARLA等仿真平台，但渲染距离现实世界有差距使用生成模型提供渲染（探索方向）端到端闭环评测的重要性端到端是系统级工作，落地时planning结果影响最大。Bench2Drive采用对planning评估最精准的CARLA方案。真实渲染问题-最新研究Bench2Drive-RBench2Drive:Towards Multi-Ability Benchmarking of Closed-Loop End-To-End Autonomous Driving.NeurIPS 2024 Datasets and Benc

4、hmarks TrackBench2Drive-R:Turning Real World Data into Reactive Closed-Loop Autonomous Driving Benchmark by Generative Model.arXiv 2412.09647端到端自端到端自动驾驶开源闭环评测动驾驶开源闭环评测CARLA中的端到端自动驾驶：经典的算法众多，例如：LAV,TCP,Transfuser,DriveAdapter等这些算法评测都在Leaderboard v1及其改进版（Town05Long,Longest6）-难度较低（只涉及跟车、转弯、红绿灯；无需会车、变道、

5、超车相关能力）Leaderboard v1 第一名 79.95/100（已经饱和，基本上解决）Leaderboard v2 第一名 6.87/100（刚刚起步）Bench2Drive从复杂度高的Leaderboard v2着手Leaderboard v2中的强交互场景端到端自端到端自动驾驶开源闭环评测动驾驶开源闭环评测CARLA中的端到端自动驾驶：经典的算法众多，例如：LAV,Transfuser,DriveAdapter等这些方法各自采集数据集进行训练，因而都是系统级比较，无法确定算法优劣Bench2Drive提供一个公共的数据集，以便于算法级比较数据集采集：1.专家模型：Think2Dri

6、ve，基于世界模型的强化学习模型，首个解决CARLA v22.数据多样性：行为层面+感知层面+标注层面Think2Drive:Efficient Reinforcement Learning by Thinking in Latent World Model for Quasi-Realistic Autonomous Driving(in CARLA-v2).ECCV 2024Bench2Drive:Towards Multi-Ability Benchmarking of Closed-Loop End-To-End Autonomous Driving.NeurIPS 2024 Data