Qwen再开源，多模态Qwen2.5-Omni-7B模型
#ai创造营#
Qwen2.5-Omni-7B是一个端到端的多模态模型，可以接收文本、图像、音频和视频的输入，以文本或语音作为输出，参数模型结构见图2-3。

HF link:
http://t.cn/A6BgC0d7
Paper：
http://t.cn/A6BgnAe4

Qwen2.5-Omni提出了Thinker-Talker架构，同时提出了TMRoPE（时间对齐多模态 RoPE）的新型位置编码，用于同步视频输入的时戳与音频，支持全实时交互，支持分块输入和即时输出。

Qwen2.5-Omni，文本部分初始化采用Qwen2.5模型，Vision编码器初始化采用Qwen2.5-VL部分，Audio编码器初始化使用Whisper-large-v3。

Qwen2.5-Omni效果很强，在音频能力上优于同等规模的Qwen2-Audio，在视觉能力上与Qwen2.5-VL-7B相当，见图4-7。

注意：如果需要音频输出，系统提示词必须为“You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech.”