实验式Lab
26-04-28 17:55

商汤把 SenseNova-U1 的 8B-MoT 权重开源了,Apache 2.0 协议

这模型的架构决策很有种——Vision Encoder 和 VAE 全砍,NEO-unify 原生架构,语言和视觉当同一种复合模态端到端训。
训练流程走了四阶段:
Understanding Warmup → Generation Pre-training → Unified Mid-training → Unified SFT,
最后加了轮 T2I RL,成品在理解和生成 benchmark 上双 SOTA。

几个硬指标:
▪️ 8B-MoT (dense) + A3B-MoT (MoE) 双规格,单模型覆盖 T2I、图像编辑、交错生成、视觉问答
▪️ 2K 图 latency 63.4s vs Qwen-Image 87.6s
▪️ NEO-unify 2B 在 MS COCO 上 PSNR 31.56 / SSIM 0.85,Flux VAE 是 32.65 / 0.91,差距没想象大

官方也坦承了几点限制:上下文目前只到 32K token,人体细节和文字渲染还抖,交错生成算实验特性还没专门 RL

🔗 ModelScope:http://t.cn/AXxspFng

发布于 四川