ViT-22B - Vision Transformers-22B
模型详细情况和参数
ViT-22B
- 模型全称
- Vision Transformers-22B
- 模型简称
- ViT-22B
- 模型类型
- 基础大模型
- 发布日期
- 2023-02-10
- 预训练文件大小
- 未知
- 是否支持中文（中文优化）
- 否
- 最高支持的上下文长度
- 2K
- 模型参数数量（亿）
- 220
- 代码是否开源
- 预训练结果是否开源
- 预训练结果商用授权情况
- 模型GitHub链接
- 暂无
- 模型HuggingFace链接
- 暂无
- 发布论文名（官方博客名）
- Scaling Vision Transformers to 22 Billion Parameters
- 论文地址（官方博客地址）
- https://arxiv.org/abs/2302.05442
- 基础模型
- 无基础模型
- 发布机构
Vision Transformers-22B 简介
ViT-22B是谷歌最新发布的220亿参数的视觉大模型。此前，虽然语言模型的参数一直增长，但是在视觉领域，模型的参数只有40亿。而往上的规模训练会出现一些不稳定情况。因此谷歌精心设计了ViT模型，使其有很高的并行训练效率。
欢迎大家关注DataLearner官方微信，接受最新的AI模型和技术推送
