NVIDIA/asset-harvester,把行车记录转成仿真可用的 3D 资产:突然想去挖挖我的行车记录仪里面有什么宝贝。🐶
英伟达实验室出的研究项目,解决的是自动驾驶仿真里的一个实际问题:行车日志重建出来的场景缺少独立、可操控的物体资产。
主流的神经场景重建(NeRF / 3D Gaussian Splatting)擅长重建整个环境,但拿不到“能在仿真里单独移动 / 插入的物体”。这个项目就是补这个缺的。
核心思路是两步走:先用 SparseViewDiT(他们专门设计的稀疏视角扩散模型)从 1 到几个真实观测图生成多视角一致的新视图,再用前馈 3D Gaussian Lifting 把多视角图 lift 成完整的 3D Gaussian 资产。全程秒级生成,不需要逐场景优化。
系统设计上还做了几件硬活:异构传感器的几何预处理、大规模物体中心训练 tuple 的筛选,以及稀疏视角条件多视角生成 + 3D Gaussian lifting 的耦合训练配方。这些是专门针对“真实行车数据”而不是“实验室可控数据”做的。
输入是 NCore V4 格式的行车数据,输出直接进 NVIDIA NCore 和 NuRec(Omniverse 仿真平台)做闭环仿真。覆盖车辆、行人、骑行者等路上常见物体,能处理严重遮挡、标定噪声、极端视角偏差这些真实场景的棘手情况。
附 HuggingFace 模型权重、数据集和 Benchmark 评测集。Apache-2.0 开源,Python 为主(97.5%)。
🔗 你发来的链接:http://t.cn/AXxBNO2R
📄 Paper:http://t.cn/AXxBNO2Q
💻 HuggingFace 模型:http://t.cn/AXxBNO28
#HOW I AI# #ai生活指南# #自动驾驶#
