GE

Gemma 1.1-7B-IT

聊天大模型Gemma 1.1

Gemma 1.1-7B - Instruct

发布时间: 2024-04-06更新于: 2024-04-06 21:16:31589
在线体验GitHubHugging FaceCompare
模型参数
70亿
上下文长度
2K
中文支持
不支持
推理能力

Gemma 1.1-7B - Instruct 是由 Google Research 发布的 AI 模型,发布时间为 2024-04-06,定位为 聊天大模型,参数规模约为 70亿,上下文长度为 2K,模型文件大小约 14GB,采用 Gemma Terms of Use 许可。

数据优先来自官方发布(GitHub、Hugging Face、论文),其次为评测基准官方结果,最后为第三方评测机构数据。 了解数据收集方法

Gemma 1.1-7B-IT

模型基本信息

推理过程
不支持
思考模式
不支持思考模式
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
聊天大模型
输入/输出模态
暂无数据
发布时间
2024-04-06
模型文件大小
14GB
MoE架构
总参数 / 激活参数
70亿 / 不涉及
知识截止
暂无数据
Gemma 1.1-7B-IT

开源和体验地址

代码开源状态
预训练权重开源
Gemma Terms of Use- 免费商用授权
GitHub 源码
暂无GitHub开源地址
在线体验
暂无在线体验地址
Gemma 1.1-7B-IT

官方介绍与博客

官方论文
暂无官方论文
DataLearnerAI博客
暂无介绍博客
Gemma 1.1-7B-IT

API接口信息

接口速度
暂无数据
暂无公开的 API 定价信息。
Gemma 1.1-7B-IT

评测结果

当前尚无可展示的评测数据。

和其他模型对比

暂时没有为该模型整理的相关对比页面。

想自定义其他组合?打开对比工具

Gemma 1.1-7B-IT

发布机构

Gemma 1.1-7B - Instruct

模型解读

Gemma 1.1-7B - Instruct是谷歌开源的Gemma 系列模型的一个升级版本。2024年2月份,Google开源了自家大模型Gemini同源技术的Gemma模型,包含2个版本,分别是Gemma-7B和Gemma-2B,前者是消费级显卡能运行的大模型的参数最高值(不考虑量化等),后者则是可以在移动端运行的大模型。


Gemma-7B模型的各项评测都在70亿参数规模大模型的最前排。其中,Gemma-7B的MMLU得分64.3,属于70亿参数规模的最高值,比著名的开源模型Mistral-7B还要高。在网友的各项测试中,Gemma 7B也非常不错。关于Gemma 7B系列模型的介绍,大家可以参考: 重磅!谷歌开源Gemini同源技术大模型Gemma,分别为70亿参数和20亿参数,同等规模参数评测极其优秀!


此次谷歌开源的Gemma-1.1-7B版本是Gemma-7B的小幅升级的版本。这意味着70亿参数模型的性能将进一步提升。尽管官方说提升可能需要大家自己评估。不过需要注意的是,Gemma系列模型仅支持英文!


Gemma 1.1-7B是Gemma-2B模型的升级版本,使用了基于人类反馈的强化学习(RLHF)对齐训练:

Gemma 1.1 采用新颖的 RLHF 方法进行训练,在质量、编码能力、事实性、指令遵循和多轮对话质量等方面都有大幅提高。我们还修复了多轮对话中的一个错误,并确保模型的回答不会总是以 "当然 "开头。


Google发布了3个版本的Gemma-1.1-7B模型,分别是指令优化的原始版本、基于PyTorch实现的版本以及1个量化版本:

Gemma-1.1-2B版本版本简介HugggingFace下载地址
Gemma-1.1-7B-IT指令优化版本,transformers库实现 https://huggingface.co/google/gemma-1.1-7b-it 
Gemma-1.1-7B-IT-PyTorchPyTorch实现的版本 https://huggingface.co/google/gemma-1.1-7b-it-pytorch 
Gemma-1.1-7B-IT-GGUFGGUF量化版本 https://huggingface.co/google/gemma-1.1-7b-it-GGUF 





DataLearner 官方微信

欢迎关注 DataLearner 官方微信,获得最新 AI 技术推送

DataLearner 官方微信二维码