i陆三金
25-08-24 18:19 微博认证:AI博主

很有趣的一条推特:数码相机传感器中的 2/3 色彩通道是插值,而不是真实感知数据,既然如此,对于自动驾驶来说,传感器的光子数据就没有必要先经过 ISP “编造”再进入神经网络了。

谷歌杰出科学家、计算成像专家 Peyman Milanfar:

「过去 20 年来,数码相机一直是这样工作的。相机传感器每个像素只捕捉一种颜色(红、绿或蓝)。其余的则是模拟生成的。

照片中有惊人的 2/3 颜色是在原始捕捉中缺失的,而是来自插值;或者说,有些人称之为“幻觉”。你的相机软件会做出高度明智的猜测来填补空白。这可不是什么新鲜事——这是数字摄影的基础知识。

如果几十年来很少有人抱怨这些“虚构”的颜色,那是因为软件做得非常出色。而这正是计算摄影的核心:传感器测量到的不是照片本身;它是创建照片的原始材料。

数字照片中你所看到的内容从未完全是对现实的完美重建。虽然这种重建的美学性和真实性是一个值得讨论的合法话题,但关于摄影“真实性”的争论在现代人工智能参与之前就已经开始了。」

特斯拉的光子小哥 Yun-Ta Tsai 说,

「当我向 Andrej(编注:应为 Andrej Karpathy)展示相机传感器的 2/3 色彩通道是由人造的这一事实时,他大吃一惊。

他说:“啥?”

我回答说:“是的,为什么我们要浪费所有的计算来编造一些假的东西然后输入网络呢?”

所以我决定改变它。」

链接:x.com/YunTaTsai1/status/1959397559870595382

发布于 上海