隆重介绍我们最新的工作CUPID: Pose-Grounded Generative 3D Reconstruction from a Single Image: http://t.cn/AXwFQgei 它展示了，基于学习到的3D物体的分布（视觉记忆），我们可以从单张（或多张）2D图像恢复物体完整的三维结构和纹理以及以物体或者以观察者为中心的三维视角信息。这项工作将基于2D图像的3D重建与3D生成技术完美的结合在一起，为真正理解三维场景中物体之间以及与观察者之间的相互几何关系提供了必不可少的工具。在我二十年前写的第一本三维视觉的教材An Invitation to 3D Vision 中，我们曾揭示过，对于有对称结构的物体，从少量2D图像恢复如此完整的3D信息是可能的。而我们这项最新的工作表明：只要能提前学到三维物体的整体分布（或者叫3D视觉记忆），那么对于一般的物体，从任意2D图像恢复一般物体的3D结构以及3D视角信息也是可行的。这样重建的3D模型，就不再只局限于让人看看而已。而是可以支持任何需要环境中物体/观察者之间空间关系信息的规划、推理、交互、操作任务。与我们的大脑观察环境中物体时所做的事情相似。