MOSS-Transcribe-Diarize：端到端多模态语音转写与说话人分离模型 | MOSI.AI
一句话总结：打破传统语音处理的割裂困境，MOSS-Transcribe-Diarize 以统一多模态架构实现转录、说话人区分与时间戳预测三位一体，让复杂场景下的语音处理既精准又高效！
核心洞见
✔ 突破传统语音转写与说话人分离分步处理的瓶颈，首次将 lexical 内容识别、说话人归属标注、时间戳预测整合进单一端到端框架，彻底解决多步骤流程中的误差累积问题。
✔ 针对真实场景中语音的复杂性（口音、噪声、情感波动、说话人重叠），实现 “识别 + 区分 + 定位” 的全链路优化，无需额外工具辅助即可输出可用度极高的处理结果。
技术细节 / 架构创新
✔ 采用统一音频 - 文本多模态架构，将多说话人声学表征投射到预训练文本大语言模型的特征空间，实现跨模态信息的深度融合。
✔ 基于自回归 SpeechLLMs 架构，通过端到端建模方式，同步完成语音转写、说话人标签分配（S01/S02 等）、精准时间戳标记，还支持可选的声学事件注释功能。
性能数据 / 实验结果
✔ 多场景适配能力突出：在中文方言俚语、日语情感语音、英文快慢速 speech 等多语言场景中表现稳定，可精准识别嘈杂环境下的区域性口音与非正式俚语。
✔ 复杂语音处理无压力：能精准捕捉高动态情感语音（喊叫、哭泣）、快速说话人切换、重叠对话，还可应对极端语速变化（极慢 / 极快）与对话打断场景。
✔ 实际案例验证：成功处理《华强买瓜》多轮争执对话、《二仙桥》无逻辑松散对话、《疯狂动物城》树懒慢速对话等，均实现精准的说话人区分与时间戳对齐。
应用场景
✔ 会议纪要生成：自动区分参会人发言，生成带时间戳的结构化纪要，省去人工整理成本。
✔ 通话分析：精准提取客服与用户、商务沟通中的双方对话内容，助力质量监控与需求挖掘。
✔ 长音频 / 视频处理：适配影视剧、播客、访谈等长内容，自动拆分说话人并标注时间轴，提升内容编辑与检索效率。
✔ 多场景语音存档：适配方言交流、情感对话、多人辩论等复杂场景，为语音数据的长期存档与复用提供标准化转录结果。
长期意义 / 为什么是游戏规则改变者
✔ 重构语音处理工作流：将原本需要多个工具、多步骤的语音处理流程简化为 “一键输出”，大幅降低企业与个人的使用门槛。
✔ 释放多模态技术价值：证明音频与文本模态的深度融合可解决传统语音模型的场景适配短板，为后续复杂语音任务（如实时翻译 + 说话人分离）提供技术范式。
✔ 赋能海量长尾场景：让方言交流、情感对话、多人重叠发言等此前难以被精准处理的语音场景，获得标准化解决方案，推动语音技术在更多行业落地。
原文： http://t.cn/AXbTmqAs #语音
http://t.cn/AXbTmq2v