大模型真的有助于自动驾驶落地吗？-电子发烧友网

大模在自动驾驶上的优势在谈论今天的主题之前，让我们谈谈什么是“大型模型”。与我们在手机上熟悉的基于语言的大型模型相比，自动驾驶中使用的大型模型仅限于聊天功能，但请参阅已通过大量数据预先培训并具有丰富的表示和推理功能的深入模型。它们可以是纯语言模型（LLM），视觉/视觉语言多模型模型，也可以是巨大的网络，它们可以共同建模多模式数据，例如感知，地图，轨迹，轨迹等。将这些功能纳入自动驾驶场景的直接好处是什么？

第一个重要的优势是“语义和一般表示”。传统的自主驾驶系统通常依赖大量手动设计的中间表示形式和特殊标签，例如各种目标盒，车道线，交通标志分类。通过自我监督的学习，大型模型可以共同编码图像，雷达点云，轨迹序列，地图元素等。该向量可以更好地捕获场景的高阶关系，例如“这是繁忙的十字路口，一群行人和遮挡的总体语义”，而不是单个像素或点的本地判断。这种表示自然有助于下游任务（方案理解，行为预测，决策协助），尤其是在稀疏样本或长尾场景中，显示出更好的迁移能力。

第二个优点是“小样本学习和知识转移”。在大量和多样化的数据进行预培训之后，大型模型可以以分布式权重的形式存储常识知识和驾驶经验。当遇到新的城市，新的气候或看不见的交叉设计时，该模型通常可以通过少量的标签或在线微调更快地适应。对于需要经常涵盖工程新方案的车队，这可以大大降低注释成本和模型迭代周期。

第三个好处是“多模式推理和统一接口”。自动驾驶汽车对交通环境的理解主要来自相机，雷达，毫米波雷达，高清地图，V2X等。大型模型可以用作统一的推理层，将这些输入融合在一起，并将其输出的高级语义融合到现场行为或候选行为策略的高级语义解释。与传统的硬编码规则或松散耦合的模块化解决方案相比，这种统一的推理有时可以更好地处理信息不一致或本地传感器故障，从而提供更强大的替代解决方案。

此外，大型模型在工程管道中的价值也很明显。他们可以自动化注释，产生困难的情况，综合培训方案，编写测试用例，扩展模拟方案，甚至参与代码生成和日志分析。将大量重复和劳动密集型的工作留给大型模型可以使工程师摆脱低价值任务，并专注于建筑设计和安全评估。

大模型在自动驾驶上的风险了解优势后，让我们谈谈缺点。首先，存在“实时和计算能力”的挑战。大型模型需要大量的参数，在当前的计算功率和功耗预算下，直接在车辆侧进行闭环控制并不现实。即使修剪，蒸馏或量化，仍然需要仔细的延迟和性能平衡。自主驾驶需要极高的延迟，确定性和可预测性，任何决定的延迟或抖动可能会成为安全隐患。

第二个是“可验证性和解释性”的问题。为了确保自动驾驶汽车安全驾驶，每个动作都需要经过验证的行为边界和可审计的决策链接。大型模型本质上是统计学习者，其推理过程自然不能满足正式验证要求。将黑匣子模型放入闭环决策中将使工作复杂化，例如安全审计，监管合规性和事故归因。为此，我们需要在使用大型模型时添加可解释的中间表示形式，约束层和冗余控制后备策略。

还具有鲁棒性和长尾方案处理功能。尽管大型模型在转移学习方面表现良好，但在极端情况，苛刻的传感器失真或对抗性输入中仍然会失败。自动驾驶的风险集中在长尾事件上，这些事件通常缺乏足够的数据，可以在预训练时学习大型模型，因此所有安全希望都不能固定在模型上“学习”到事故中。

最后一个是“分布责任和监管风险”。将决策能力留给学习的模型将提出定义责任的问题。无论是汽车公司，软件和硬件供应商还是服务运营商，负责模型决策中的错误，法律和保险生态系统仍处于适应阶段。在某些国家和地区，监管机构对黑匣子的决策持谨慎态度，这将影响技术实施的步伐。

大模型如何合理利用于自动驾驶？那么，如何在自动驾驶汽车中合理地使用大型型号？实践中更合理的途径是“模块化+大型模型援助”的混合体系结构。关键的实时链接，例如感知（像素到对象，几何重建），定位和映射，以及控制的高频，严格验证的模块仍然进行控制；大型模型放置在“中间至最高的推理”或“离线路径”上，例如场景解释，长期行为预测，复杂的互动推理，异常检测，策略建议和模拟场景生成。这利用了大型模型的优势，同时保留了低潜伏期和可验证的控制路径。

为了实现工业级实施，可以使用蒸馏和分层部署。首先，使用大型模型在云中完成复杂的推理或策略搜索，生成稳定的策略候选者或结构化指令，然后将此知识分配到轻巧的实时操作模型（或基于规则的控制器）中，然后将其部署到车辆端。这不仅将通用知识转移到边缘设备，还可以确保每个决定的可控性和及时性。

在培训方法方面，大型模型的引入也改变了数据策略。自我监督的学习（例如比较学习，掩盖建模）可以在多模式数据上学习一般特征，并减少对昂贵标签的依赖；仿真生成和合成数据在填充长尾场景中起着重要作用，但是需要适应域（SIM2REAL）。行为水平的培训结合了演示学习，离线强化学习和人类专家验证，以避免在模型的现实世界中危险的在线试验和错误。数据治理，标记质量控制和方案覆盖范围评估仍然是该模型是否可以成功促进大规模生产的关键。

在评估和验证时，使用大型模型并不意味着可以放松测试。取而代之的是，需要更严格的方案覆盖范围指标，基于方案的安全指标以及模型不确定性的量化。不确定性的估计（例如置信区间，贝叶斯近似或深度集成）可以触发切换策略或在运行时要求手动干预。覆盖范围测试应包括长尾场景，例如传感器故障，阻塞，恶劣，稀有演员等，同时，再加上覆盖范围引导的对抗测试，我们将发现潜在的故障模式。

使用大型模型并不意味着自动驾驶汽车可以完全聪明，而且冗余和监视仍然是必不可少的。即使大型模型提供了高质量的建议，系统也应具有两个独立的链接，以验证输出并在不一致时执行简单，安全的停止或降级措施。运行时监视应包括对模型输入管道，输出一致性检查和绩效回归检测的完整性检查。在线记录和播放机制同样重要，决策和模型输入的每个步骤都必须能够追溯到事故后支持责任识别和模型改进。

对于研发团队而言，登陆大型模型的成本和项目数量不可忽视。模型培训需要大量的计算能力和存储，数据注释和清洁仍然是主要开销之一。可以在模拟和闭环测试台上首先验证大型模型的推理能力，然后安全地陷入封闭地点和有限方案的道路测试中。

最后的话对于许多专门从事大型自动驾驶的朋友以及一些刚进入这个行业的学生，Zhihua希望在最前沿提出一些建议。首先，掌握基本的感知和几何知识仍然是基础。无论该模型未来如何发展，相机，激光雷达和雷达的物理测量特性和几何约束始终决定可用信息的上限。其次，了解模型的不确定性很重要。能够使用大型型号并知道何时不使用它也是工程能力。第三，尝试从小切口中的水域，首先将大型模型用于非关键路径，例如协助注释，生成训练方案，进行日志分析或提供多模式检索，以积累工程经验和安全的论证。第四，请注意数据治理和方案覆盖范围。良好的数据策略可以比简单的HEAP模型参数更好地提高系统安全性。第五，如果您领导团队，则必须建立一个跨学科团队，将算法工程师，系统工程师，功能安全工程师和验证工程师组成同一项目，以确保可以检查和平衡模型的开发和验证。

好了，文章到此结束，希望可以帮助到大家。