卷积神经网络与视觉变换器：大规模比较与理解

视觉变换器（ViT）因其相对容易从预训练模型中获得良好性能而备受欢迎。但令人感兴趣的是，卷积神经网络（CNN）在大规模应用中可以与视觉变换器匹敌。

CNN与ViT的比较

在最近的研究论文“ConvNets Match Vision Transformers at Scale”中，研究人员投入了高达110k TPU小时的计算预算，以公平地比较ViT和CNN。

他们的研究发现，当CNN使用与ViT典型应用相似的计算预算进行预训练时，它们可以匹配ViT的性能。为此，他们在JFT的40亿标记图像上进行预训练，然后在ImageNet上对模型进行微调。

预训练模型的优点

从个人经验来看，我发现在微调ViT时，比在微调CNN时更容易获得良好的图像分类性能。例如，一个小型的ViT可以在单个GPU上微调5分钟，就可以在CIFAR-10上达到约96%的准确率。在我以前的教学经验中，要获得这样的结果，使用预训练的CNN总是具有挑战性。回顾起来，这可能是因为ViT从更大的预训练预算中受益。

对比分析

然而，论文中我希望能够解决的一个问题是推理性能。虽然在微调ViT和微调CNN的性能上可以匹配，但我想知道他们在内存占用和推理速度上可能存在的优势。

结论

总的来说，无论是CNN还是ViT，它们都有各自的优点和适用场景。在大规模应用中，两者的性能可以匹配。然而，ViT在预训练预算更大时，可能会有更好的表现。在实际应用中，我们需要根据具体的任务需求和资源限制，选择最适合的模型。