这次是 Elon Musk 忍不住了,主动解释了特斯拉的 Reality View 是怎么做出来的。
首先,去年起特斯拉有了一个像素级精准的云端世界模型,用于 FSD 的合成数据训练。
来到车上,全车摄像头的画面会先经过一个通用视觉编码器,压缩成一串特征,这些特征可以理解为神经网络的笔记。接下来这份笔记会分成两路,一路导入一个30 亿参数的负责开车的 FSD 模型,另一路导入一个 10 亿参数的扩散模型,负责 Reality View。
在具体的实现上,特斯拉 AI4 有 Soc A 和 Soc B 两个主芯片,每个芯片有 3 个 TRIP 加速器,Reality View 排在 Soc B 的半个加速器上,大约占 AI4 总算力的 8%。
AI4 是一个今天看来有点落后的芯片,TRIP 加速器是在卷积神经网络时代设计的,擅长 8 位整数运算(INT8),但现在 FSD 的 Transformer 和扩散模型大量用到 softmax,需要指数和除法,最好用浮点数来算,而 TRIP 加速器原生不擅长,只能拆成 28 个小步骤模拟出来,又慢又费资源。
具体到 Elon 说的几个数字,负责 Reality View 的扩散模型每次生成一段 8 帧,帧率为 36 帧/s 的视频,也就是 8/36 = 时长大约 0.22 秒的视频。
这个分布在通用视觉编码器的 4 个周期上,通用视觉编码器是 18 Hz,4/18 = 0.22 秒。
也就是说,Reality View 可以跟上汽车外部的变化实时生成,但生成的画面比车外的实际动态延迟 0.22 秒。
接下来特斯拉会在扩散模型中间层插入更新的通用视觉编码器特征,将延迟降低大约 35%,也就是降到 0.14 秒。
实际上,一年前特斯拉 AI 副总裁 Ashok 在 ICCV 上已经公开了特斯拉的 GGS 220 毫秒的速度,只是并未展开解释。
在另一个帖子下,Elon 说特斯拉不会给汽车更新 AI5 芯片,汽车会保持在 AI4...
