HuggingFace
25-09-17 23:52 微博认证:HuggingFace官方微博

🚀 模型更快,显存更省!OpenAI 的 GPT-OSS 黑科技 已全面集成进 Transformers!
现在你不仅能跑 GPT-OSS,几乎所有 Transformers 模型都能直接享受到这些优化👇

✨ 核心升级:
零编译内核:从 Hugging Face Hub 一键下载即用
MXFP4 量化:4bit 精度,20B 模型也能单卡跑
并行优化:张量并行 + 专家并行,分布式推理更高效
智能缓存 & 连续批处理:减少显存占用,长文本生成更快
极速加载:一次性预分配显存,大模型秒级启动

🤗 立即升级 Transformers,亲自体验这些加速优化!欢迎加入我们的中文社区:Chinese LLMs on Hugging Face,一起探索更高效的开源 AI!
#HuggingFace##模型加速##开源AI#

发布于 美国