#苹果开源OpenELM系列语言模型#
苹果在抱抱脸上最新推出了 OpenELM 系列语言模型。
OpenELM 总共有 8 个模型,包括 270M、450M、1.1B和3B这四个参数规模(分为预训练版和指令微调版)。
它们使用了总计约 1.8 万亿个 token 的多个公共数据集。
目前,OpenELM 的代码、预训练模型权重以及训练和评估流程全部开放。
发布于 广东
#苹果开源OpenELM系列语言模型#
苹果在抱抱脸上最新推出了 OpenELM 系列语言模型。
OpenELM 总共有 8 个模型,包括 270M、450M、1.1B和3B这四个参数规模(分为预训练版和指令微调版)。
它们使用了总计约 1.8 万亿个 token 的多个公共数据集。
目前,OpenELM 的代码、预训练模型权重以及训练和评估流程全部开放。