之前看到过好多这种对视频进行计算机视觉化加工的作品,一直没有好好研究是怎么做的。现在终于看到有大佬做了完整方案教学 🥹。
Shading Motion,用 WebGPU 把画面里的运动提取出来再着色
Maxime Heckel 平时的屏幕空间 shader 都把单帧当空间介质:采颜色、亮度、深度、邻域像素。这篇反过来问,如果输入换成场景里的运动呢。运动没法从单帧读出来,所以他用 WebGPU compute shader 做帧差:当前帧和上一帧转灰度相减,得到一张越亮动得越狠的 motion mask。生帧差会闪,再叠一层时间衰减,运动就连成可调长短的拖尾。3D 场景、视频、摄像头都能当输入。
🔗 链接:http://t.cn/AXpi6agU(文章)
🎮 blob / 遮罩演示:http://t.cn/AXpi6agA
🎮 运动场箭头:http://t.cn/AXpi6agZ
📄 Pierre Cusa《Motion All the Way Down》:http://t.cn/AXpi6agw
后面三层都建立在这张时间图上。blob tracking 把 mask 收成十来个槽位,记下中心、尺寸和置信度,再用 SDF 画框、十字和连线,也能当遮罩往里套别的 shader。光流近似是比邻像素,把方向编进颜色通道,再画箭头场;作者说这是创作输入,精度上不如 OpenCV。3D 里另做一张物体速度图做运动模糊,快到一定程度会出现马车轮错觉,他就在可预测轨迹的中间位置叠几份物体做 smear。灵感来自 TouchDesigner 一类运动效果,他想在网页上把运动变成和颜色、光、深度同级的后处理介质。
#HOW I AI# #ai生活指南# #效率工具#
发布于 广西
