肉肉爸比ev
26-09-02 12:45 微博认证:汽车博主 微博原创视频博主

这个版本应该称为自如式VLA 2.0,为何会这么说?

小鹏第二代VLA的XOS 6.3.0版本给人的直观体验的确如此,我这两天整理跟羽毛哥的素材,我们高频在直播里面讲到几个词,从容,柔和,太极,说人话,小P处理问题更快了,它像一个内力深厚的武林高手,把很多的风险用提前的动作化解于无形

很多细节,都是回看才发现,跟几个朋友聊,一直在说这次的新版其实很吃亏,因为没有新功能形式,没有倒车,有的case可能6.1.0的时期触发了,鹏友下意识觉得,咦~不过尔尔,但要我说,6.3.0更像是6.1.0的稳定版本,把以前难以复现的能力变成了稳定复现,这次架构收益最大的是舒适,安心,他们没有因为急于堆新功能,而去推变化,而是从架构本身去重构,把时间融入其中,在很多场景中,都会进行思考,从而让模型给到人上述的感觉

天下武功,唯快不破,6.3.0最强点是反应速度,横向的求解能力变强很多,我们有10个片段是关于这点,具体的展现是前车一旦放慢车速,小P立刻做出反应,不轻易让速,很多时候反应之快会让我们惊呼,用个对比案例大家会明显看到6.3.0的快

-两个都是在复合车道路口前进行的绕行,都有前车,但不难看出图1的反应更快,前车一走,VLA 2.0在1.18秒后方向盘马上有动作,起步超过;右边的是XOS 6.1.0的表现,前车绕行,VLA 2.0在接近2.72秒后方向盘开始有动作,这个时候后方有车,VLA 2.0的绕行显得没有那么果断,路口等了一会,才进行绕行,很明显吧?6.3.0是不是更快?

-公交车停靠这个也是一样,3月份的VLA 2.0,我们在越秀遇到一个几乎一样的场景,但是系统的绕行决策出的很慢,这次跟羽毛哥直播的时候,他在喝水,错过了这次快速反应,他只能回味,公交车亮起刹车灯,到VLA 2.0 绕行,耗时3.97s,就是公交车决定停靠,它就绕行,VLA 2.0在这一刻就像是心领神会,兄弟,我就知道你要临停!当时在XOS 6.3.0的发布会也看到类似的场景,本来以为先明又放卫星,没想到放出来的场景,基本都能复现

-还有一个快速路的变道场景,XOS 6.3.0 发现前车变慢,马上向左发起变道,回来看视频才知道,原来最右侧车道前面有施工,然后右侧白车压线避让,导致前车降速,VLA 2.0的做法是直接去空旷的车道,避免因为前车导致行程效率变慢

上面的3个场景是XOS 6.3.0 非常明显的特性,很多辅助驾驶,前车降速,只能纵向被动跟着降速,XOS 6.3.0 化被动为主动,只要前方异动,它的决策马上会跟上。

发布会上先明说,因为采用了流式回归推理Streaming Inference,端到端响应速度提升300%

说白了,现在的模型能够做到边看边想,官方说传统的模型是“看▷算 ▷ 输出 ▷ 再看”,这里存在的问题是必须等画面编码完成,拼接出来,再生成轨迹,每个步骤需要接力,所以有等待周期,等到该推理的时候,过去的信息可能就用不上了;

新的链路是边看,边想,边行动,历史的信息不需要做重复计算,只需要把新的信息写入即可,另外,过去30s并不是以视频的方式进来,而是把积累的状态,导航,车速等压缩成Token信息,所以对模型的算力并不造成额外的压力,然后是持续更新轨迹,也就有咱们看到的,它的响应时机 更早,它的决策更为果断,从而减少了慢速跟车带来的不必要博弈,提升了安全性跟效率

前两天还发了两轮车被公交车遮挡的画面,属于记忆Infini‑VLA+预测X‑Foresight+世界模型X-World的多重作用,因为有记忆和世界模型,当两轮车驶入五十铃的车侧的时候,模型并不会其已认为「消失」,而是理解了,它现在只是被遮挡,它随时有可能出来,当它出来的时候,系统就不会以急刹的方式来做应对,而是用模型控速

X‑Foresight号称可以预测6s的世界,并不是说它直接预测6s后的画面,每次应该是只预测1s,边走边预测,行成6s预测,怎么做到?

鹏厂先用大量的数据,让模型知道了时间概念,包含了各种各样的数据分布,然后先从短时间开始预测,再逐渐训练到长预测的能力,同时世界模型生成了巨量的极端场景,模型不是只模拟直行的场景,而是通过极端场景让模型可以做到更强的预测能力,也就是发布会说的Flow Matching,所以预测这块,提升最大的还是安全性,它可以像上面说的,边看边想边做

这次像一些窄路能力,我们都没有怎么拍,一段式在小路本来就是强点,很多细节,反而是在大路上面体现的比较出来,小路这次的提升是长时序会车,对向来车需要往右让空间的时候更加果断,这些属于基操了,到时候视频给大家呈现

我们试的是Beta版本,就是VLA 2.0的纯模型能力,没有加任何兜底,所以主要的问题还是在选道上,我们走错了2次,还有红绿灯方面,后续面向用户的时候,肯定会加一些RL,来保证选道的成功率

这次XOS 6.3.0升级,VLA 2.0 再次重构,其实能看到先明的野心,地基方面这次打好了,记忆,连续理解,预测,仿真,闭环RL,MoT专家架构,每块都有论文,都有作用,也能看到他的泰然自若,昨天他在视频里说倒车已经准备好了,但是还没开放,他显然很有完美主义,我理解的倒车已经准备好了,是数据准备好了,在发布会有一帧,向量搜索,关键词「倒车数据」,所有的数据就出来了,数据出来了,功能不会太远的

观点依旧,行不行还是得大家用完自己评价,OTA之后,看一下我们说的自如版VLA 2.0,太极版 VLA 2.0,从容版VLA 2.0合不合理?
#小鹏第二代VLA有记忆能预测会思考##小鹏G9L首发第二代VLA全新版本#

发布于 广东