提速4倍！谷歌新开源模型用Diffusion生成文本
大模型逐字往外蹦单词的延迟，一直挺搞人心态的 🥱
谷歌刚开源的 DiffusionGemma，算是从底层换了条路子。

不玩逐字预测了，跟跑生图模型似的，直接同时起草一整块文本，然后在后台并行去噪细化。

看眼图表... 嗯，26B 版本生成速度飙到 1107 tokens/s，同级模型的 4 倍。重点是轻，18GB 消费级显卡就能满血跑。

智力也没掉队。硬核代码和数学基准上咬紧了传统自回归版本。

快是真快，但我也在担心，这种并行生成碰上超长文本，连贯性和幻觉控制到底稳不稳，
开源社区，想玩的朋友还是再等等吧。还得让子弹飞一会儿 🚬

🔗 Blog:
blog.google/innovation-and-ai/technology/developers-tools/diffusion-gemma-faster-text-generation
🔗 HuggingFace:
http://t.cn/AXaPkXf9

#Google##Gemma##DiffusionGemma##大模型##开源模型#