Raven RWKV 7B
Raven RWKV 7B
模型参数
70.0亿
上下文长度
2K
中文支持
支持
推理能力
模型基本信息
推理过程
不支持
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
暂无数据
发布时间
2023-05-22
模型文件大小
45GB
MoE架构
否
总参数 / 激活参数
70.0 亿 / 不涉及
知识截止
暂无数据
推理模式
暂无模式数据
开源和体验地址
官方介绍与博客
DataLearnerAI博客
暂无介绍博客
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
评测得分
当前尚无可展示的评测数据。
发布机构
个人
查看发布机构详情 模型解读
基于RNN架构的大语言模型，结合了RNN与Transformer的优点。Raven RWKV 7B是它的70亿参数版本。
RWKV是一个结合了RNN与Transformer双重优点的模型架构。由香港大学物理系毕业的彭博首次提出。简单来说，RWKV是一个RNN架构的模型，但是可以像transformer一样高效训练。HuggingFace官方宣布在transformers库中首次引入RNN这样的模型，足见RWKV模型的价值。
详情参考： https://www.datalearner.com/blog/1051684163498438
注意，RWKV系列开源的最大的优点包括：
- 可以商用
- 基于1.7万亿tokens训练
- 未来将开源1000亿参数规模的预训练结果
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
