大家好,前段时间我们正式发布了小鹏第二代 VLA,在发布会上,向大家展示了我们的世界模型是如何帮助车辆主动理解路况、进行预判和思考的。
最近,我们的技术团队发布了X-World技术报告,从数据、模型、训练、验证及应用等多个层面详细介绍了世界模型的构建与使用,今天和大家一起分享一下这份报告的主要内容。
不同于传统的基于3D 高斯溅射的仿真评估方法,我们已经将世界模型用于闭环仿真环节。在小鹏世界模型X-World的加持下,我们的仿真场景从一年前的30,000个增加到了超过500,000个,每天的仿真测试里程等效于30,000,000公里实车测试。
X-World是一个服务于自动驾驶的可控多视角生成式世界模型,可以把它被视为一个会“思考”驾驶场景的物理AI系统,它能够根据当前的路况和驾驶操作,想象出数秒后路况的变化。
X-World最核心的是其可控生成的能力,可以对自车、其他交通参与者、道路结构、环境的进行细粒度的控制,从而实现了7路摄像头的3D空间一致,解决了视频生成模型不可控和一致性的问题。值得一提的是,X-World 的滚动键值缓存机制支持任意长度视频生成,同时保持画质稳定、无明显色偏。
目前,X-World已经成为第二代VLA的核心技术基座,在小鹏汽车自动驾驶的闭环仿真测试、在线强化学习、数据生成等环节起到支撑作用,加速第二代VLA模型的研发与验证。
1、X-World作为模拟器,为第二代VLA提供闭环仿真测试环境。在 X-World 中运行第二代VLA,可在高度贴近真实世界视觉分布的虚拟环境中,评估碰撞率、目标达成进度、乘坐舒适性等性能指标。
2、X-World作为训练器,充当在线强化学习的仿真平台,重点优化第二代VLA在路口遭遇行人“鬼探头”、拥堵路段变道犹豫等难点场景的表现。
3、X-World作为数据生产工厂,生成缺失的长尾场景数据,提升第二代VLA应对Corner Case的能力;生成海外数据用于模型训练,加速小鹏自动驾驶的全球化落地。
感兴趣的朋友可以点击这个链接阅读技术报告原文:http://t.cn/AXIokTL2
我们的技术同学还专门做了一个网站,用通俗的方式介绍了 X-World 的能力、核心技术和工作原理,页面上也放了不少生成效果的演示视频,大家可以直观感受一下!欢迎点击查看:http://t.cn/AXIokTLA
#小鹏发布世界模型技术报告#
