RA
模型参数
70亿
上下文长度
2K
多语言支持
支持
推理能力
暂无数据
Raven RWKV 7B 是由 个人 发布的 AI 模型，发布时间为 2023-05-22，定位为 聊天大模型，参数规模约为 70亿，上下文长度为 2K，模型文件大小约 45GB，采用 Apache 2.0 许可。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
Raven RWKV 7B
模型基本信息
推理过程
暂无数据
思考模式
不支持思考模式
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
聊天大模型
输入/输出模态
暂无数据
发布时间
2023-05-22
模型文件大小
45GB
MoE架构
否
总参数 / 激活参数
70亿 / 不适用
知识截止
暂无数据
Raven RWKV 7B
开源和体验地址
Raven RWKV 7B
官方介绍与博客
DataLearnerAI博客
暂无
Raven RWKV 7B
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
Raven RWKV 7B
发布机构
个人
查看发布机构详情 Raven RWKV 7B
模型解读
基于RNN架构的大语言模型，结合了RNN与Transformer的优点。Raven RWKV 7B是它的70亿参数版本。
RWKV是一个结合了RNN与Transformer双重优点的模型架构。由香港大学物理系毕业的彭博首次提出。简单来说，RWKV是一个RNN架构的模型，但是可以像transformer一样高效训练。HuggingFace官方宣布在transformers库中首次引入RNN这样的模型，足见RWKV模型的价值。
详情参考： https://www.datalearner.com/blog/1051684163498438
注意，RWKV系列开源的最大的优点包括：
- 可以商用
- 基于1.7万亿tokens训练
- 未来将开源1000亿参数规模的预训练结果
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
