WWDC2026课程介绍了他们Immersive 直播流程,直播格式统称为Immersive live format,包含三部分:视频,音频,元数据,传输走SMTPE ST 2110,一路2110就可以包含这三部分。
视频:走的是prores流,非传统广播的基带信号未压缩流。走2110-22协议(压缩视频传输 Compressed Video,低延迟,带宽利用率高,可以在1Gbps 或 10Gbps 的常规网络进行超高质量4K或8K传输,广播电视中JPEG-XS编码流也是走该协议),单一流就可以包含左右眼两条独立数据。
音频:ASAF由未压缩的PCM音轨组成,以高阶的Ambix,配以object组成,走2110-30协议。Level C支持最高多大64通道传输。
元数据:由逐帧json文件,包含描述对象,视音频信息,镜头校准等其他信息。走2110-41协议。
在录制,回放,剪辑,再回放上,由于都走的是prores流式传输,不需要再重新编解码,不存在损失,还可以直接回流2110。使用AVfoudation以及AVAssetWriter封装到MOV,使用Immersive Media Support(IMS)写入元数据。当然,分发到终端还需要编码成MV—HEVC。
发布于 广东
