Gemma 1.1-7B-IT - Gemma 1.1-7B - Instruct
模型详细情况和参数
Gemma 1.1-7B-IT
- 模型全称
- Gemma 1.1-7B - Instruct
- 模型简称
- Gemma 1.1-7B-IT
- 模型类型
- 聊天大模型
- 发布日期
- 2024-04-06
- 预训练文件大小
- 14GB
- 是否支持中文（中文优化）
- 否
- 最高支持的上下文长度
- 2K
- 模型参数数量（亿）
- 70.0
- 模型代码开源协议
- Gemma Terms of Use
- 预训练结果开源商用情况
- Gemma Terms of Use - 免费商用授权
- 模型GitHub链接
- 暂无
- 模型HuggingFace链接
- https://huggingface.co/google/gemma-1.1-7b-it
- 在线演示地址
- 暂无
- 官方博客论文
- 暂无
- 基础模型
- 无基础模型
- 发布机构
Gemma 1.1-7B - Instruct 简介
Gemma 1.1-7B - Instruct是谷歌开源的Gemma 系列模型的一个升级版本。2024年2月份，Google开源了自家大模型Gemini同源技术的Gemma模型，包含2个版本，分别是Gemma-7B和Gemma-2B，前者是消费级显卡能运行的大模型的参数最高值（不考虑量化等），后者则是可以在移动端运行的大模型。
Gemma-7B模型的各项评测都在70亿参数规模大模型的最前排。其中，Gemma-7B的MMLU得分64.3，属于70亿参数规模的最高值，比著名的开源模型Mistral-7B还要高。在网友的各项测试中，Gemma 7B也非常不错。关于Gemma 7B系列模型的介绍，大家可以参考： 重磅！谷歌开源Gemini同源技术大模型Gemma，分别为70亿参数和20亿参数，同等规模参数评测极其优秀！
此次谷歌开源的Gemma-1.1-7B版本是Gemma-7B的小幅升级的版本。这意味着70亿参数模型的性能将进一步提升。尽管官方说提升可能需要大家自己评估。不过需要注意的是，Gemma系列模型仅支持英文！
Gemma 1.1-7B是Gemma-2B模型的升级版本，使用了基于人类反馈的强化学习（RLHF）对齐训练：
Gemma 1.1 采用新颖的 RLHF 方法进行训练，在质量、编码能力、事实性、指令遵循和多轮对话质量等方面都有大幅提高。我们还修复了多轮对话中的一个错误，并确保模型的回答不会总是以 "当然 "开头。
Google发布了3个版本的Gemma-1.1-7B模型，分别是指令优化的原始版本、基于PyTorch实现的版本以及1个量化版本：
| Gemma-1.1-2B版本 | 版本简介 | HugggingFace下载地址 |
|---|---|---|
| Gemma-1.1-7B-IT | 指令优化版本，transformers库实现 | https://huggingface.co/google/gemma-1.1-7b-it |
| Gemma-1.1-7B-IT-PyTorch | PyTorch实现的版本 | https://huggingface.co/google/gemma-1.1-7b-it-pytorch |
| Gemma-1.1-7B-IT-GGUF | GGUF量化版本 | https://huggingface.co/google/gemma-1.1-7b-it-GGUF |
欢迎大家关注DataLearner官方微信，接受最新的AI模型和技术推送
Gemma 1.1-7B-IT所属的领域
Gemma 1.1-7B-IT相关的任务
