Google 最新开放了大语言模型 Gemma 2。它有两种规模:90 亿参数和 270 亿参数,分别具有基础(预训练)和指令调优版本。Gemma 基于 Google DeepMind 的 Gemini,拥有 8K Tokens 的上下文长度:
gemma-2-9b: 90 亿基础模型。
gemma-2-9b-it: 90 亿基础模型的指令调优版本。
gemma-2-27b: 270 亿基础模型。
gemma-2-27b-it: 270 亿基础模型的指令调优版本。
Gemma 2 模型的训练数据量约为其第一代的两倍,总计 13 万亿 Tokens(270 亿模型)和 8 万亿 Tokens(90 亿模型)的网页数据(主要是英语)、代码和数学数据。我们不知道训练数据混合的具体细节,只能猜测更大和更仔细的数据整理是性能提高的重要因素之一。
Gemma 2 与第一代使用相同的许可证,这是一个允许再分发、微调、商业用途和衍生作品的宽松许可证。
发布于 北京
