Vision Transformers-22B 简介

ViT-22B是谷歌最新发布的220亿参数的视觉大模型。此前，虽然语言模型的参数一直增长，但是在视觉领域，模型的参数只有40亿。而往上的规模训练会出现一些不稳定情况。因此谷歌精心设计了ViT模型，使其有很高的并行训练效率。