ViT-22B - Vision Transformers-22B

模型详细情况和参数

ViT-22B

模型全称
Vision Transformers-22B
模型简称
ViT-22B
模型类型
基础大模型
发布日期
2023-02-10
预训练文件大小
未知
是否支持中文(中文优化)
最高支持的上下文长度
2K
模型参数数量(亿)
220
代码是否开源
预训练结果是否开源
预训练结果商用授权情况
模型GitHub链接
暂无
模型HuggingFace链接
暂无
发布论文名(官方博客名)
Scaling Vision Transformers to 22 Billion Parameters
论文地址(官方博客地址)
https://arxiv.org/abs/2302.05442
基础模型
无基础模型
发布机构

Vision Transformers-22B 简介

ViT-22B是谷歌最新发布的220亿参数的视觉大模型。此前,虽然语言模型的参数一直增长,但是在视觉领域,模型的参数只有40亿。而往上的规模训练会出现一些不稳定情况。因此谷歌精心设计了ViT模型,使其有很高的并行训练效率。

欢迎大家关注DataLearner官方微信,接受最新的AI模型和技术推送

ViT-22B所属的领域
ViT-22B相关的任务