StableLM - Stable Language Model

模型详细情况和参数

StableLM

模型全称
Stable Language Model
模型简称
StableLM
模型类型
基础大模型
发布日期
2023-04-20
预训练文件大小
未知
是否支持中文(中文优化)
最高支持的上下文长度
2K
模型参数数量(亿)
1750
代码是否开源
预训练结果是否开源
预训练结果商用授权情况
发布论文名(官方博客名)
Stability AI Launches the First of its StableLM Suite of Language Models
基础模型
无基础模型
发布机构

Stable Language Model 简介

StableLM是StabilityAI开源的一个大语言模型。于2023年4月20日公布,目前属于开发中,只公布了部分版本模型训练结果。


StabilityAI是著名的开源软件Stable Diffusion的开发者,该系列模型完全开源,但是做的是文本生成图像方向。而本次发布的StableLM是StabilityAI的第一个开源的大语言模型。


该模型基于Pile数据训练,但是是一个新的Pile数据集,比原始的Pile数据集大3倍,包含约1.5万亿tokens,数据集目前没有公开,但是官方说后续在适当的时机会公布。模型训练的context长度是4096个。下图是官方提供的实际测试例子:



截止4月20日,StableLM的技术细节尚未公布!


StableLM系列包含2种模型,一个是基础模型,名字中包含base。另一种是使用斯坦福Alpaca的微调流程在5个对话数据集上的联合微调得到的结果,名字中包含tuned。上述五个对话数据集为:

  1. 斯坦福的Alpaca数据集
  2. Nomic-AI的GPT4All数据集
  3. ShareGPT52K数据集
  4. Databricks的Dolly数据集
  5. Anthropic的HH数据集


目前,StabilityAI确定在训练的模型由5个版本,分别是30亿参数、70亿参数、150亿参数、300亿参数、650亿参数。而1750亿参数规模的模型处于规划阶段:

规模StableLM-Base-AlphaStableLM-Tuned-Alpha训练的tokens数量具体参数大小演示地址
3Bcheckpointcheckpoint8000亿3,638,525,952
7Bcheckpointcheckpoint8000亿7,869,358,080Hugging Face
15B训练中(pending)
30B训练中(pending)
65B训练中(pending)
175B规划中


截止2023年4月20日,已经开放30亿参数和70亿参数规模的预训练结果(下载地址见上表)中base和tuned共4种模型。并在HuggingFace上提供了70亿参数规模的演示环境。


目前StableLM的能力包括:

  • 闲聊
  • 正式的写作(如邮件)
  • 创意写作(写诗)
  • 写代码(如代码补全、文本生成代码等)


StableLM遵守CC BY-SA-4.0协议,开发人员可以自由使用基础模型(包括商业目的)。


StableLM官方博客介绍: https://stability.ai/blog/stability-ai-launches-the-first-of-its-stablelm-suite-of-language-models 

StableLM的GitHub地址: https://github.com/Stability-AI/StableLM 

StableLM的HuggingFace演示地址: https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat 



欢迎大家关注DataLearner官方微信,接受最新的AI模型和技术推送

StableLM所属的领域
自然语言处理

自然语言处理

Natural Language Process

35个资源

StableLM相关的任务
问答系统

问答系统

Question Answering

35个资源