🚀 低比特量化新突破！Intel 推出超强量化工具 AutoRound！
面对越来越庞大的大语言模型（LLMs）和多模态视觉语言模型（VLMs），部署效率成了新挑战。Intel 最新推出的量化工具 AutoRound，不仅轻量高效，还能在 INT2～INT8 低比特量化下保持极高准确率，可谓在精度与性能之间找到了理想平衡 ⚖️

📌 什么是 AutoRound？ AutoRound 是一款基于权重量化的后训练量化（PTQ）方法，核心创新是同时优化 权重舍入和裁剪范围，通过带符号梯度下降实现更精确的低比特表示。甚至在 INT2 量化下也能 比主流方案准确率高出 2.1 倍！

⚡ 快速高效：量化一个 72B 的大模型，仅需 37 分钟（在 A100 GPU 上 Light 模式）！
💡 支持特性一览：
支持主流 LLM（如 Qwen、LLaMA、DeepSeek）
支持 10 多种 VLM（如 Mistral-Small-3.1、Gemma3 等）
低至 INT2 的权重量化
导出格式：AutoRound、GPTQ、AWQ、GGUF
支持平台：CPU、Intel GPU、CUDA

📊 在 Hugging Face 的 #LowBit Open LLM Leaderboard# 上，AutoRound 的表现稳居前列。在 INT2 和 INT4 精度下的任务评测中，多次领先主流方法！
🤖 结合我们去年推出的开源项目 LeRobot，AutoRound 的发布是我们拓展低比特智能部署、推动 AI 普惠化的又一里程碑！

🤗 欢迎加入我们的中文社区：Chinese LLMs on Hugging Face，一起交流 AutoRound、模型量化与开源部署的更多玩法！

#AutoRound##模型量化##Hugging Face#