每次看一些行业里的新闻，总能开启自我学习的机会。

📰 理想最近的2024智能驾驶夏季发布会上，提到了自己是首家把端到端模型和VLM视觉语言模型集成到车端的企业，成立吗?
>>>搜了一下，的确没媒体报道过特斯拉FSD是否用了VLM模型 ，虽然FSD纯拼的是视觉感知能力，理应有类似VLM的模型撑腰，但业内没见过报端，特斯拉自己也没提，所以很有可能特斯拉模型是个多模态模型，可能比VLM模型能力更强？事实上VLM目前能实现的功能之一，比如说通过视觉来理解道路的标识、限速牌、红绿灯等，我感觉有车企就已经实现了，只是不知道实现的技术逻辑是否一样，以及先进程度是否一样。但基于目前的公开信息来看，理想说自己是第一家把端到端和VLM双系统搭载在车端的，看下来似乎也没错。

🚗 什么是”端到端模型“？
>>>“端到端”(End-to-End)是一种机器学习和深度学习的设计范式，通常使用神经网络来实现，这种方法通过训练一个单一的模型来处理从输入到输出的所有步骤，能自动从数据中学习特征，中间省略了传统方法中的手工特征提取和复杂的中间处理步骤。由于整个系统被联合训练，能够更好地捕捉输入和输出之间的相关性，通常能带来更高的性能，而且模型会更简洁。

之前业内像特斯拉，华为，小鹏，极越等都是用了端到端大模型。要迈向L2++和更高的L3及以上，端到端目前是必不可少的起点。传统的模块化自动驾驶系统通常将感知、决策和控制分为独立的模块，而端到端大模型则是一个整体，通过输入大量高质量数据进行自训练和自学习，因此能够覆盖更广泛的行车场景。我个人简单的理解，就是端到端是让车端自己能自主完成感知、决策、执行的智驾闭环动作的能力，越高数据量训练的端到端模型，自动驾驶的”自主“能力会越强才对。所以我们会看到行业里不少车企在说，我们的模型参数量达到多少多少亿之类的，就是这么个理吧。然而，当前的端到端大模型也在某些场景中仍可能存在缺陷，如热度最高的“黑箱”特性。
❓”黑箱特性“主要是这么三个问题：
- 内部逻辑不透明：端到端大模型通过神经网络等复杂结构来处理输入数据，并输出决策结果。然而，这些模型的内部逻辑和参数权重等信息往往是不公开的，导致人类难以直接理解其决策过程。
- 难以定位问题：由于黑箱特性的存在，当模型在特定场景下表现不佳或出现错误决策时，研发人员往往难以快速定位问题所在，增加了调试和优化的难度。
- 安全性挑战：自动驾驶等关键领域对安全性和可靠性有极高要求。黑箱特性使得人们难以评估模型在极端情况下的表现，从而增加了潜在的安全风险。
❗ 目前行业里应对黑箱特性的方法，模糊地从策略上来看有这么两种：
- 增加透明度：通过设计可解释性更强的模型结构或算法，使得模型的部分决策过程可以被人类理解。例如，使用注意力机制等可视化技术来展示模型在做出决策时关注的重点区域，我们常听的transformer就是一种注意力机制的神经网络。
- 安全策略兜底：除了依靠端到端大模型进行决策外，还需要设计一系列安全策略来兜底。例如，设置多重冗余系统、实时监测模型输出等以确保在模型出现故障时能够及时采取应对措施。

此外，对于上面增加透明性的问题，除了提到的transformer模型，近来更多的案例就是看到商汤绝影DriveAGI、长城汽车与毫末智行联合开发的DriveGPT雪湖·海若，它们是定位为“可解释性”的智驾大模型。“可解释性”指的是自动驾驶大模型能够清晰地解释其决策过程和推理依据，使得人类用户能够理解并信任其驾驶行为，听起来应该就是破解端到端黑箱不透明的方案。这种可解释性的大模型，走的就是多模态模型架构。它让自动驾驶系统能够像人一样理解复杂的现实世界，洞察各类交通参与者的行为动机，快速学习各种交通规则，并掌握瞬息万变的道路信息。并且当系统做出某个驾驶决策时，它能够向用户详细解释这一决策是如何形成的，包括考虑了哪些因素、权衡了哪些利弊等。

❓ 那是否意味着多模态大模型又比transformer领先了？两者的区别在于哪？使用场景区别是什么？
>>>首先，Transformer模型其实就是一种端到端模型。但端到端模型不等同于多模态模型。它们在某些方面有所重叠，但并不是完全相同的概念。端到端模型可以应用于多模态数据的处理，但多模态模型并不一定要采用端到端的架构。在实际应用中，选择哪种模型取决于具体的需求和场景。
交集：端到端模型和多模态模型在某些应用场景下可能存在交集。例如，一个端到端的多模态模型可能能够同时处理文本和图像数据，将它们作为输入并直接产生输出。
不同侧重点：端到端模型更侧重于模型的架构和数据处理流程的简化，而多模态模型则更侧重于数据类型的多样性和信息融合的能力。
总的来看，多模态大模型由于需要处理多种模态的数据，其技术复杂度和计算资源需求通常高于单一的Transformer模型，这也使得多模态大模型在处理复杂任务和跨领域应用时更具优势。
从应用场景上来看，两者各有优势。Transformer模型在纯文本处理任务中表现出色，而多模态大模型则在需要跨模态交互和理解的任务中更具优势。未来随着AI技术的不断发展，多模态大模型和Transformer模型有可能会融合。

❓ 理想VLM是否也是一种多模态大模型？目前它布置到了车端，是否就不需要云端了？
>>> 是一种，较为初级的一种吧，因为它核心是视觉转化为自然语言，而多模态除了视觉还有其他模态。多模态本身最好的应用场景之一就是智能汽车，因为现在的智能汽车融合了先进感知技术、AI算法、大数据及高性能计算平台等应用，同时在人机交互上具备触觉、视觉、语音等多模态融合交互的特点。不过，由于智能汽车本身对安全和实时响应要求非常高，决定了难以完全依靠云端大模型来满足车端的多样化需求，所以端云结合势在必行。

#端到端大模型##自动驾驶[超话]##日常学习笔记# #transformer模型# #多模态大模型#