Gemma 1.1-7B - Instruct
Gemma 1.1-7B - Instruct is an AI model published by Google Research, released on 2024-04-06, for 聊天大模型, with 70.0B parameters, and 2K tokens context length, requiring about 14GB storage, under the Gemma Terms of Use license.
Data sourced primarily from official releases (GitHub, Hugging Face, papers), then benchmark leaderboards, then third-party evaluators. Learn about our data methodology
Gemma 1.1-7B - Instruct是谷歌开源的Gemma 系列模型的一个升级版本。2024年2月份，Google开源了自家大模型Gemini同源技术的Gemma模型，包含2个版本，分别是Gemma-7B和Gemma-2B，前者是消费级显卡能运行的大模型的参数最高值（不考虑量化等），后者则是可以在移动端运行的大模型。
Gemma-7B模型的各项评测都在70亿参数规模大模型的最前排。其中，Gemma-7B的MMLU得分64.3，属于70亿参数规模的最高值，比著名的开源模型Mistral-7B还要高。在网友的各项测试中，Gemma 7B也非常不错。关于Gemma 7B系列模型的介绍，大家可以参考： 重磅！谷歌开源Gemini同源技术大模型Gemma，分别为70亿参数和20亿参数，同等规模参数评测极其优秀！
此次谷歌开源的Gemma-1.1-7B版本是Gemma-7B的小幅升级的版本。这意味着70亿参数模型的性能将进一步提升。尽管官方说提升可能需要大家自己评估。不过需要注意的是，Gemma系列模型仅支持英文！
Gemma 1.1-7B是Gemma-2B模型的升级版本，使用了基于人类反馈的强化学习（RLHF）对齐训练：
Gemma 1.1 采用新颖的 RLHF 方法进行训练，在质量、编码能力、事实性、指令遵循和多轮对话质量等方面都有大幅提高。我们还修复了多轮对话中的一个错误，并确保模型的回答不会总是以 "当然 "开头。
Google发布了3个版本的Gemma-1.1-7B模型，分别是指令优化的原始版本、基于PyTorch实现的版本以及1个量化版本：
| Gemma-1.1-2B版本 | 版本简介 | HugggingFace下载地址 |
|---|---|---|
| Gemma-1.1-7B-IT | 指令优化版本，transformers库实现 | https://huggingface.co/google/gemma-1.1-7b-it |
| Gemma-1.1-7B-IT-PyTorch | PyTorch实现的版本 | https://huggingface.co/google/gemma-1.1-7b-it-pytorch |
| Gemma-1.1-7B-IT-GGUF | GGUF量化版本 | https://huggingface.co/google/gemma-1.1-7b-it-GGUF |
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
