Simon的白日梦
26-05-17 11:09 微博认证:科技博主

感觉是目前可定制化最强的本地运行、可运行的开源音频生成模型?🤔

Scenema Audio,把 TTS 往“表演型声音模型”推了一步

Scenema Audio 是一个基于 LTX 2.3 音频扩散 Transformer 的 expressive speech / voice cloning 模型。它想解决的不是普通 TTS 的“读得清楚”,而是“能不能像演员一样说”:愤怒、低语、哭、笑、疲惫、恐惧,甚至在同一段生成里做情绪转折。

用法也更像写剧本:prompt 里可以用 描述声音、性别、语言、场景,再用 写舞台指令,比如“声音压低”“忍住情绪”“突然爆发”。模型会把这些表演指令转成语速、停顿、呼吸、情绪弧线和环境音。

关键点:zero-shot voice cloning、13 种语言、48kHz stereo WAV、speech + 环境音;INT8 配置下可在 16GB VRAM 跑,更舒服是 24GB/48GB。模型权重约 29GB,Gemma 3 12B 做 text encoder,需要 HF token 和 Google terms access。

传统 TTS 是“把文本念出来”,Scenema Audio 更像“把一段戏演出来”。适合短剧、游戏 NPC、交互叙事、AI 角色播客,但 voice cloning 的伦理边界也更敏感。

HuggingFace:http://t.cn/AXiiTbMJ(模型)
项目页:http://t.cn/AXiiTbMx(项目)
X 视频:http://t.cn/AXiiTbMi(原帖)
#HOW I AI# #ai生活指南# #AI工具#

发布于 广西