🤗 Hugging Face 存储升级！从文件到块，提高效率 🚀

Hugging Face 目前存储了 30 PB 以上的模型、数据集和 Spaces，但由于 Git LFS 采用文件级存储和版本控制，每次修改都可能导致整文件重新上传，带来高昂的存储和传输成本。特别是 GGUF（8 GB+）、Safetensor（1 GB）、Parquet/CSV（200-300 MB） 这些大文件，哪怕只是改动一行元数据，都可能导致存储膨胀。

💡 解决方案：Xet 团队引入块级存储（Chunk-based Storage）！
通过 内容定义分块（CDC） 技术，我们可以将文件拆分为 变量大小的块，仅传输和存储修改过的部分，大幅提高存储效率和迭代速度。

📌 块级存储 VS 传统 Git LFS：真实数据对比
在 CORD-19 数据集（50 轮增量更新）上的实测结果：
🔹 下载时间：51 分钟 ➡️ 19 分钟（减少 63%）
🔹 上传时间：47 分钟 ➡️ 24 分钟（减少 49%）
🔹 存储占用：8.9 GB ➡️ 3.52 GB（减少 60%）

📊 Hugging Face Hub 的存储优化潜力
以 OpenAI GPT-2 的 model.safetensors 为例，使用 CDC 后的 总存储需求减少 53%！
许多 微调模型和训练检查点 可实现 30-85% 的去重率，预计可为 Hugging Face Hub 节省 100 TB 以上的存储空间！
上传/下载加速：团队在多版本数据/模型迭代时，等待时间大幅缩短！

🚀 2025 年，Xet 支持的块级存储即将登陆 Hugging Face Hub！
关注 Hugging Face Xet 团队，一起探索 CDC 在全球分布式存储、隐私保护、并行计算等方向的应用！💬

🤗欢迎加入我们的中文社区：Chinese LLMs on Hugging Face，共同探讨 AI 未来！
#AI创造营##高效存储##开源模型#