1什么是数据闭环

自动驾驶中的数据闭环，是指算法研发由case-driven转向data-driven的核心步骤。我大概整理了下数据闭环的链路，如下图所示：

• 链路中的环节包含工具链路打通和算法开发两部分。
• 算法开发主要有数据挖掘、数据标注、模型优化这三部分。
• 这里面数据标注中的自动标注，即AutoLabeling是目前数据闭环中最为核心的部分。
• 数据挖掘和模型优化，也是需要攻克和解决的点，只不过从成本和效率上，目前优先级没有自动标注高。

2AutoLabeling方案

以下的讨论以目标检测任务为例。

Pipeline

• 目标检测任务的主要pipeline流程包含目标检测、轨迹生成、轨迹优化三部分
• 其中目标检测模型、MOT算法，都有比较成熟的算法，所以AutoLabeling中创新点主要体现在轨迹优化这个步骤。

学术界的SOTA

目前关于AutoLabeling的完整方案方面的论文不是很多，这里面比较有代表性的有：

• 谷歌的Waymo在2021年发表的：《Offboard 3D Object Detection from Point Cloud Sequences》

• Uber的ATG（Advanced Technology Group）在2021年发表的：《Auto4D: Learning to Label 4D Objects from Sequential Point Clouds》

• Open MMLab在2022年发表的：《MPPNet: Multi-Frame Feature Intertwining with Proxy Points for 3D Temporal Object Detection》

下面对这三篇文章做了个简单地总结和对比：

Auto4D的轨迹优化

• Size Branch: 累积全轨迹点（时域信息忽略），BEV编码，得到全局的稳定size。
• Update：基于最近corner align，更新全轨迹的box属性。
• Path Branch：累积全轨迹点（保留时域信息，但时域和高度channel合并），BEV编码，得到相邻帧位移

Offboard3D的轨迹优化处理

• 动静态判断：box中心点方差<1m/s^2，首尾帧中心点偏移<1m，则为静态，否则为动态。
• 静态轨迹优化：前背景分割网络对box周围的原始点进行分割，box回归网络得到box属性（基于PointNet）
• 动态轨迹优化：对于点进行前背景分割+点序列编码，对于框进行序列编码，最后加2层box回归网络。

MPPNet

• 选取代理点：每个框均匀选择代理点(4x4x4)
• 单帧提取特征：提取几何特征、运动特征
• 组内特征编码：x、y、z、c通道分割使用MLP进行feature mixing
• 组间特征编码：使用Former结构，共享K、V，进行feature mixing
• 3D检测头：使用Tranformer Decoder