🌍 mmBERT 发布:ModernBERT 的多语言版,覆盖 1800+ 语言、用 3T+ Token 训练,在准确率与速度上双升级,首次全面超越 XLM-R!
亮点速读:
强性能:GLUE、XTREME、MTEB v2 等基准全面提升,代码检索同样出色。
会学低资源:逐步纳入语言+退火采样+动态掩码+模型合并,让低资源语言在后期也能快速习得。
真加速:Flash Attention 2 与 Unpadding,最长 8192 序列,吞吐可达传统多语编码器的 2–4 倍。
更通用:Gemma 2 分词器适配多脚本,英文占比更低仍稳健,面向检索、问答、RAG、跨语种搜索更省心。
🤗 欢迎加入我们的中文社区:Chinese LLMs on Hugging Face,一起交流多语言模型的训练与落地实践!
#Hugging Face##多语言模型##NLP#
发布于 美国
