谷歌发布新一代开源大语言模型 Gemma 2
谷歌 DeepMind 团队于 6 月 27 日正式发布了新一代开源大语言模型 Gemma 2。这个轻量级但性能强大的模型系列提供了 90 亿（9B）和 270 亿（27B）参数两个版本,每个版本都有基础（预训练）和指令微调两种变体。
Gemma 2 的主要特点包括:
- 卓越性能：27B 版本在同类模型中表现最佳,甚至可与规模大两倍的模型媲美。9B 版本也优于同规模的其他开源模型,如 Llama 3 8B。
- 高效架构：采用交替使用局部滑动窗口和全局注意力的创新设计,提高了模型的推理效率。还引入了分组查询注意力（GQA）机制,进一步优化了推理速度。
- 训练创新：利用知识蒸馏技术训练 9B 和 2.6B 模型,通过从更大的教师模型学习,显著提升了小型模型的性能。研究团队在主要为英文数据的 13 万亿 token 上对 27B 模型进行了训练,对 9B 模型进行了 8 万亿 token 的训练。
- 灵活部署：27B 模型经过优化,可在单个 Google Cloud TPU 主机、NVIDIA A100 80GB GPU 或 H100 GPU 上以全精度高效运行推理。
- 安全性提升：在预训练和微调阶段都采取了严格的数据筛选和安全措施,并提供了负责任的生成式 AI 工具包,帮助开发者实施安全最佳实践。
- 开放许可：沿用了 Gemma 1 的宽松许可证,允许开发者和研究人员共享创新并进行商业化。
- 广泛兼容性：兼容主要的 AI 框架,如 Hugging Face Transformers,以及通过 Keras 3.0、vLLM、Gemma.cpp、Llama.cpp 和 Ollama 原生支持的 JAX、PyTorch 和 TensorFlow。
在多项基准测试中,Gemma 2 展现出优异表现。在 MMLU 测试中,27B 模型达到 75.2% 的准确率,9B 模型达到 71.3%,均优于同规模竞品。在人类评估的 LMSYS Chatbot Arena 中,27B 指令微调版本创下了开源模型的新纪录。此外,在 HuggingFace 评估套件上,27B 模型在其规模类别中表现最佳,甚至可以与训练时间更长的大模型进行同级别竞争。
谷歌还提供了由一系列实用示例和指南构成的新 Gemma Cookbook,旨在帮助开发者构建自己的应用程序并针对特定任务微调 Gemma 2 模型。同时,谷歌向开发者开放了 Gemini 1.5 Pro 的 200 万 token 上下文窗口访问权限,并在 Gemini API 中为 Gemini 1.5 Pro 和 1.5 Flash 推出了上下文缓存功能,以帮助减少使用相同 token 的多 prompt 任务成本。
有趣的是,在 Gemma 2 正式发布前,AI 爱好者在 LMSYS Chatbot Arena 上发现了两个名为「im-also-a-late-june-chatbot」和「late-june-chatbot」的新模型。这两个模型仅在平台的随机对战模式中出现,当被问及身份时均自称是 Google 的 Gemma。考虑到模型的表现和命名方式,社区普遍推测这可能是 Gemma 2 的预览版本。
据测试者反馈,这些新模型在某些任务上的表现优于 Claude 3 Haiku。它们倾向于使用粗体和项目符号列表来组织输出,显示出独特的风格特征。不过,也有用户指出,在一些基准测试中,特别是英语问题的处理上,新模型的表现不如 Llama 3 70B。
（谷歌 DeepMind、HuggingFace、机器之心）
谷歌 DeepMind 团队于 6 月 27 日正式发布了新一代开源大语言模型 Gemma 2。这个轻量级但性能强大的模型系列提供了 90 亿（9B）和 270 亿（27B）参数两个版本,每个版本都有基础（预训练）和指令微调两种变体。
Gemma 2 的主要特点包括:
- 卓越性能：27B 版本在同类模型中表现最佳,甚至可与规模大两倍的模型媲美。9B 版本也优于同规模的其他开源模型,如 Llama 3 8B。
- 高效架构：采用交替使用局部滑动窗口和全局注意力的创新设计,提高了模型的推理效率。还引入了分组查询注意力（GQA）机制,进一步优化了推理速度。
- 训练创新：利用知识蒸馏技术训练 9B 和 2.6B 模型,通过从更大的教师模型学习,显著提升了小型模型的性能。研究团队在主要为英文数据的 13 万亿 token 上对 27B 模型进行了训练,对 9B 模型进行了 8 万亿 token 的训练。
- 灵活部署：27B 模型经过优化,可在单个 Google Cloud TPU 主机、NVIDIA A100 80GB GPU 或 H100 GPU 上以全精度高效运行推理。
- 安全性提升：在预训练和微调阶段都采取了严格的数据筛选和安全措施,并提供了负责任的生成式 AI 工具包,帮助开发者实施安全最佳实践。
- 开放许可：沿用了 Gemma 1 的宽松许可证,允许开发者和研究人员共享创新并进行商业化。
- 广泛兼容性：兼容主要的 AI 框架,如 Hugging Face Transformers,以及通过 Keras 3.0、vLLM、Gemma.cpp、Llama.cpp 和 Ollama 原生支持的 JAX、PyTorch 和 TensorFlow。
在多项基准测试中,Gemma 2 展现出优异表现。在 MMLU 测试中,27B 模型达到 75.2% 的准确率,9B 模型达到 71.3%,均优于同规模竞品。在人类评估的 LMSYS Chatbot Arena 中,27B 指令微调版本创下了开源模型的新纪录。此外,在 HuggingFace 评估套件上,27B 模型在其规模类别中表现最佳,甚至可以与训练时间更长的大模型进行同级别竞争。
谷歌还提供了由一系列实用示例和指南构成的新 Gemma Cookbook,旨在帮助开发者构建自己的应用程序并针对特定任务微调 Gemma 2 模型。同时,谷歌向开发者开放了 Gemini 1.5 Pro 的 200 万 token 上下文窗口访问权限,并在 Gemini API 中为 Gemini 1.5 Pro 和 1.5 Flash 推出了上下文缓存功能,以帮助减少使用相同 token 的多 prompt 任务成本。
有趣的是,在 Gemma 2 正式发布前,AI 爱好者在 LMSYS Chatbot Arena 上发现了两个名为「im-also-a-late-june-chatbot」和「late-june-chatbot」的新模型。这两个模型仅在平台的随机对战模式中出现,当被问及身份时均自称是 Google 的 Gemma。考虑到模型的表现和命名方式,社区普遍推测这可能是 Gemma 2 的预览版本。
据测试者反馈,这些新模型在某些任务上的表现优于 Claude 3 Haiku。它们倾向于使用粗体和项目符号列表来组织输出,显示出独特的风格特征。不过,也有用户指出,在一些基准测试中,特别是英语问题的处理上,新模型的表现不如 Llama 3 70B。
（谷歌 DeepMind、HuggingFace、机器之心）
