谷歌推出了 Gemma 2，这是其开源轻量级语言模型的最新版本，提供 90 亿 （9B） 和 270 亿 （27B） 参数大小。与前身 Gemma 模型相比，这个新版本承诺增强性能和更快的推理速度。Gemma 2 源自 Google 的 Gemini 模型，旨在让研究人员和开发人员更容易访问，从而大幅提高速度和效率。与多模态和多语言的 Gemini 模型不同，Gemma 2 只专注于语言处理。在本文中，我们将深入探讨 Gemma 2 的突出功能和进步，将其与该领域的前辈和竞争对手进行比较，重点介绍其用例和挑战。

构建 Gemma 2

与其前身一样，Gemma 2 型号基于仅解码器转换器架构。27B 变体在 13 万亿个代币上训练，主要是英语数据，而 9B 模型使用 8 万亿个代币，2.6B 模型在 2 万亿个代币上训练。这些令牌来自各种来源，包括 Web 文档、代码和科学文章。该模型使用与 Gemma 1 和 Gemini 相同的分词器，确保数据处理的一致性。

Gemma 2 使用一种称为知识蒸馏的方法进行预训练，它从更大的预训练模型的输出概率中学习。在初始训练后，通过称为指令调优的过程对模型进行微调。这首先要对合成和人工生成的英语纯文本提示响应对进行监督微调 （SFT）。在此之后，应用人类反馈强化学习 （RLHF） 来提高整体性能

Gemma 2：跨各种硬件增强性能和效率

Gemma 2 不仅在性能上优于 Gemma 1，而且与两倍于其尺寸的型号有效竞争。它旨在跨各种硬件设置高效运行，包括笔记本电脑、台式机、IoT 设备和移动平台。Gemma 2 专门针对单个 GPU 和 TPU 进行了优化，提高了其前身的效率，尤其是在资源受限的设备上。例如，27B 型号擅长在单个 NVIDIA H100 Tensor Core GPU 或 TPU 主机上运行推理，对于需要高性能而无需大量投资硬件的开发人员来说，它是一种经济高效的选择。

此外，Gemma 2 还为开发人员提供了跨各种平台和工具的增强调优功能。无论是使用 Google Cloud 等基于云的解决方案，还是使用 Axolotl 等流行平台，Gemma 2 都提供了广泛的微调选项。与 Hugging Face、NVIDIA TensorRT-LLM 以及 Google 的 JAX 和 Keras 等平台集成，使研究人员和开发人员能够在各种硬件配置中实现最佳性能和高效部署。

Gemma 2 vs Llama 3 70B

在比较 Gemma 2 和 Llama 3 70B 时，这两个模型在开源语言模型类别中都脱颖而出。谷歌研究人员声称，尽管尺寸要小得多，但 Gemma 2 27B 的性能可与 Llama 3 70B 相媲美。此外，Gemma 2 9B 在语言理解、编码和解决数学问题等各种基准测试中始终优于 Llama 3 8B。

与 Meta 的 Llama 3 相比，Gemma 2 的一个显着优势是它对印度语言的处理。Gemma 2 因其分词器而出类拔萃，该分词器专为这些语言设计，并包含大量 256k 个令牌以捕捉语言的细微差别。另一方面，尽管 Llama 3 支持多种语言，但由于词汇量和训练数据有限，在印度语脚本的标记化方面遇到了困难。这使得 Gemma 2 在涉及印度语的任务中具有优势，使其成为在这些领域工作的开发人员和研究人员的更好选择。

使用案例

根据 Gemma 2 模型的具体特性及其在基准测试中的性能，我们已经确定了该模型的一些实际用例。

• 多语种助理：Gemma 2 针对各种语言（尤其是印度语）的专用分词器使其成为开发为这些语言用户量身定制的多语言助手的有效工具。无论是用印地语寻找信息、用乌尔都语创建教育材料、用阿拉伯语营销内容，还是用孟加拉语撰写研究文章，Gemma 2 都能为创作者提供有效的语言生成工具。此用例的一个真实示例是 Navarasa，这是一个基于 Gemma 构建的多语言助手，支持九种印度语言。用户可以毫不费力地制作出与区域受众产生共鸣的内容，同时遵守特定的语言规范和细微差别。

• 教育工具：凭借其解决数学问题和理解复杂语言查询的能力，Gemma 2 可用于创建智能辅导系统和教育应用程序，提供个性化的学习体验。

• 编码和代码帮助：Gemma 2 对计算机编码基准测试的熟练程度表明它有潜力成为代码生成、错误检测和自动代码审查的强大工具。它能够在资源受限的设备上表现良好，使开发人员能够将其无缝集成到他们的开发环境中。

• 检索增强生成 （RAG）：Gemma 2 在基于文本的推理基准测试中具有强大的性能，因此非常适合跨各个领域开发 RAG 系统。它通过合成临床信息来支持医疗保健应用，协助法律人工智能系统提供法律建议，支持开发用于客户支持的智能聊天机器人，并促进个性化教育工具的创建。

局限性和挑战

虽然 Gemma 2 展示了显着的进步，但它也面临着主要与其训练数据的质量和多样性相关的限制和挑战。尽管 Gemma 2 的分词器支持多种语言，但它缺乏针对多语言能力的专门培训，需要微调才能有效处理其他语言。该模型在清晰、结构化的提示下表现良好，但在开放式或复杂的任务以及讽刺或比喻表达等微妙的语言细微差别方面表现不佳。它的事实准确性并不总是可靠的，可能会产生过时或不正确的信息，并且在某些情况下可能缺乏常识推理。虽然已经努力解决幻觉问题，特别是在医疗或CBRN场景等敏感领域，但在金融等不太精细的领域仍然存在产生不准确信息的风险。此外，尽管采取了一些措施来防止仇恨言论或网络安全威胁等不道德内容的产生，但其他领域仍然存在滥用的风险。最后，Gemma 2 完全基于文本，不支持多模态数据处理。