很有趣的一条推特:数码相机传感器中的 2/3 色彩通道是插值,而不是真实感知数据,既然如此,对于自动驾驶来说,传感器的光子数据就没有必要先经过 ISP “编造”再进入神经网络了。
谷歌杰出科学家、计算成像专家 Peyman Milanfar:
「过去 20 年来,数码相机一直是这样工作的。相机传感器每个像素只捕捉一种颜色(红、绿或蓝)。其余的则是模拟生成的。
照片中有惊人的 2/3 颜色是在原始捕捉中缺失的,而是来自插值;或者说,有些人称之为“幻觉”。你的相机软件会做出高度明智的猜测来填补空白。这可不是什么新鲜事——这是数字摄影的基础知识。
如果几十年来很少有人抱怨这些“虚构”的颜色,那是因为软件做得非常出色。而这正是计算摄影的核心:传感器测量到的不是照片本身;它是创建照片的原始材料。
数字照片中你所看到的内容从未完全是对现实的完美重建。虽然这种重建的美学性和真实性是一个值得讨论的合法话题,但关于摄影“真实性”的争论在现代人工智能参与之前就已经开始了。」
特斯拉的光子小哥 Yun-Ta Tsai 说,
「当我向 Andrej(编注:应为 Andrej Karpathy)展示相机传感器的 2/3 色彩通道是由人造的这一事实时,他大吃一惊。
他说:“啥?”
我回答说:“是的,为什么我们要浪费所有的计算来编造一些假的东西然后输入网络呢?”
所以我决定改变它。」
链接:x.com/YunTaTsai1/status/1959397559870595382
发布于 上海
