Raven RWKV 7B（Raven RWKV 7B）详细信息 | 名称、简介、使用方法，开源情况，商用授权信息 | DataLearnerAI

RA

Raven RWKV 7B

Raven RWKV 7B

发布时间: 2023-05-22更新于: 2023-07-07 23:15:46.052430

在线体验GitHub Hugging Face Compare

模型参数

70.0亿

上下文长度

2K

中文支持

支持

推理能力

数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。了解数据收集方法

Raven RWKV 7B

模型基本信息

推理过程

不支持

上下文长度

2K tokens

最大输出长度

暂无数据

模型类型

聊天大模型

发布时间

2023-05-22

模型文件大小

Raven RWKV 7B

开源和体验地址

代码开源状态

预训练权重开源

Apache 2.0- 免费商用授权

GitHub 源码

https://github.com/BlinkDL/RWKV-LM

Hugging Face

https://huggingface.co/spaces/BlinkDL/Raven-RWKV-7B

Raven RWKV 7B

官方介绍与博客

官方论文

RWKV: Reinventing RNNs for the Transformer Era

DataLearnerAI博客

暂无介绍博客

Raven RWKV 7B

API接口信息

接口速度

暂无数据

暂无公开的 API 定价信息。

Raven RWKV 7B

评测结果

当前尚无可展示的评测数据。

Raven RWKV 7B

发布机构

个人

查看发布机构详情

Raven RWKV 7B

模型解读

基于RNN架构的大语言模型，结合了RNN与Transformer的优点。Raven RWKV 7B是它的70亿参数版本。

RWKV是一个结合了RNN与Transformer双重优点的模型架构。由香港大学物理系毕业的彭博首次提出。简单来说，RWKV是一个RNN架构的模型，但是可以像transformer一样高效训练。HuggingFace官方宣布在transformers库中首次引入RNN这样的模型，足见RWKV模型的价值。

详情参考： https://www.datalearner.com/blog/1051684163498438

注意，RWKV系列开源的最大的优点包括：

可以商用
基于1.7万亿tokens训练
未来将开源1000亿参数规模的预训练结果

DataLearner 官方微信

欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送

DataLearner 官方微信二维码