模型首先依赖的是视觉端到端的世界建模。
我对此一直都没有怀疑过。
但当传感器检测到环境进入极端条件，比如雨滴干扰摄像头成像，或者雾霾造成对比度骤降，系统会自动触发多模态权重调整。
不是手动去改参数，而是在训练阶段就引入了跨模态自适应机制。
换句话说，模型里有一个动态感知门控单元，它会实时评估各传感器的信噪比与置信度。
比如在浓雾中，视觉通道的置信度下降，雷达和毫米波的置信度权重自动提升，最终在融合层输出给规划模块。
我们把它称为加权共识机制。
视觉、激光雷达、毫米波，不是孤立地投票，而是通过时空一致性检验来互相约束，一旦有一方出现幻觉或噪声，其他模态会立即修正它。
训练方法上，我们使用了大规模跨天气的对抗式数据增强。
不仅是晴天、雨天、雪天，我们还模拟了沙尘暴、强台风、夜间极光干扰等极端场景。
内容未完，下一页继续阅读