Raven RWKV 7B - Raven RWKV 7B
模型详细情况和参数
Raven RWKV 7B
- 模型全称
- Raven RWKV 7B
- 模型简称
- Raven RWKV 7B
- 模型类型
- 聊天大模型
- 发布日期
- 2023-05-22
- 预训练文件大小
- 45GB
- 是否支持中文（中文优化）
- 是
- 最高支持的上下文长度
- 2K
- 模型参数数量（亿）
- 70.0
- 模型代码开源协议
- Apache 2.0
- 预训练结果开源商用情况
- Apache 2.0 - 免费商用授权
- 模型GitHub链接
- https://github.com/BlinkDL/RWKV-LM
- 模型HuggingFace链接
- https://huggingface.co/spaces/BlinkDL/Raven-RWKV-7B
- 在线演示地址
- 暂无
- 基础模型
- 无基础模型
- 发布机构
Raven RWKV 7B 简介
基于RNN架构的大语言模型，结合了RNN与Transformer的优点。Raven RWKV 7B是它的70亿参数版本。
RWKV是一个结合了RNN与Transformer双重优点的模型架构。由香港大学物理系毕业的彭博首次提出。简单来说，RWKV是一个RNN架构的模型，但是可以像transformer一样高效训练。HuggingFace官方宣布在transformers库中首次引入RNN这样的模型，足见RWKV模型的价值。
详情参考： https://www.datalearner.com/blog/1051684163498438
注意，RWKV系列开源的最大的优点包括：
- 可以商用
- 基于1.7万亿tokens训练
- 未来将开源1000亿参数规模的预训练结果
欢迎大家关注DataLearner官方微信，接受最新的AI模型和技术推送
Raven RWKV 7B所属的领域
Raven RWKV 7B相关的任务
