DataLearner AI 专注大模型评测、数据资源与实践教学的知识平台，持续更新可落地的 AI 能力图谱。
© 2026 DataLearner AI. DataLearner 持续整合行业数据与案例，为科研、企业与开发者提供可靠的大模型情报与实践指南。
一文看懂如何初始化神经网络 | DataLearnerAI
首页 / 博客列表 / 博客详情 深度学习的初始化非常重要，这篇博客主要描述两种初始化方法：一个是Kaiming初始化，一个是LSUV方法。文中对比了不同初始化的效果，并将每一种初始化得到的激活函数的输出都展示出来以查看每种初始化对层的输出的影响。当然，作者最后也发现如果使用了BatchNorm的话，不同的初始化方法结果差不多。说明使用BN可以使得初始化不那么敏感了。
本文翻译自Meidum的博文：How to initialize a Neural Network
训练神经网络远非一项简单的任务，因为最轻微的错误导致非最佳结果而没有任何警告。训练取决于许多因素和参数，因此需要深思熟虑的方法。
众所周知，训练的开始（即前几次迭代）非常重要。 如果做得不当，你会得到不好的结果 - 有时候，网络根本就不会学到任何东西！ 因此，初始化神经网络权重的方式是良好训练的关键因素之一。
本文的目的是解释为什么初始化会产生影响并提供不同的方法来有效地实现它。 我们将针对实际例子测试我们的方法。
代码使用fastai库（基于pytorch）和最后一个fastai MOOC的课程（顺便说一句，这真的很棒！）。 所有实验笔记本都可以在这个
该图显示LSUV的准确度（y轴）为67％，Kaiming初始化为57％，pytorch默认值为48％。 差异很大！
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
为什么初始化很重要？
一个前向步骤，包括权重和输入/激活函数之间的大量矩阵乘法（我们称激活函数为一个层的输出，它将成为下一层的输入，即隐藏层的激活函数结果）
反向传播步骤，包括更新网络权重以最小化损失函数（使用参数的梯度）
在前向传播步骤中，激活函数（然后是梯度）可以很快变得非常大或非常小 - 这是因为我们重复了很多矩阵乘法。更具体地说，我们可能会得到：
非常大的激活函数结果，趋向于无穷大
非常小的激活函数结果，因此无穷小的梯度，根据数值精度可以趋近为零
这些因素对任何一个训练都是致命的。下面是第一个前向传播随机初始化权重爆炸示例。
在这个特殊的例子中，平均值和标准偏差在第10层已经很大了！
让事情更棘手的是，在实践中，即使在避免爆炸或消失效果的情况下，经过长时间的训练，你仍然可能得到非最佳结果。 这在下面的简单报告中说明（实验将在本文的第二部分详述）：
如何初始化您的网络
获得随机权重
在第一次前向传播的时候将激活函数的结果保持在良好的范围内
在实践中有什么好的范围？ 定量地说，它意味着输出向量的平均值接近0并且标准偏差接近1。然后每个层将在所有层上传播这些统计量。
即使在深度网络上，您也可以在第一次迭代时获得稳定的统计信息。
数学方法：Kaiming初始化 让我们想象一下这个问题。如果初始化的权重在训练开始时太大，那么每个矩阵乘法将指数地增加激活函数结果，导致我们称之为梯度爆炸。
相反，如果权重太小，那么每个矩阵乘法将减少激活函数结果直到它们完全消失。
所以关键在于缩放权重矩阵以获得矩阵乘法的输出，其均值约为0，标准差为1。
但那么如何定义权重的比例呢？好吧，因为每个权重（以及输入）是独立的并且按照正态分布分布，我们可以通过计算一些数学来获得帮助。
两篇着名论文基于这个想法提出了一个很好的初始化方案：
实际上，这两种方案非常相似：“主要”区别在于Kaiming初始化考虑了每次矩阵乘法后的ReLU激活函数。
如今，大多数神经网络使用ReLU（或类似leaky ReLU的函数）。在这里，我们只专注于Kaiming初始化。
简化公式（对于标准ReLU）是通过以下方式缩放随机权重（从标准分布中提取）：
请注意，对于Leaky ReLU，公式有一个额外的部分，我们在此不考虑。
请注意，现在我们在初始化后得到平均值为0.64且标准偏差为0.87的激活函数结果。 显然，这不是完美的（如何用随机数？），但比正态分布的随机权重要好得多。
在50层之后，我们得到平均0.27和0.464的标准偏差，因此不再有爆炸或消失效果。
可选阅读：Kaiming公式的快速解释 Kaiming论文中提供了math.sqrt（2 /输入向量大小）的缩放数的数学推导。 另外，我们在下面提供了一些有用的代码，读者可以完全跳过这些代码继续下一部分。 请注意，代码需要了解如何进行矩阵乘法以及方差/标准偏差。
为了理解公式，我们可以考虑矩阵乘法结果的方差是什么。 在这个例子中，我们有一个512向量，输出为512向量。
所以在我们的例子中，矩阵乘法输出的方差大约是输入向量的大小。 并且，根据定义，标准偏差是其平方根。
这就是为什么将权重矩阵除以输入矢量大小的平方根（在本例中为512）给出了标准差为1的结果。
但“2”的分子来自哪里？ 这只是考虑到ReLU层。
如您所知，ReLU将负数设置为0。 因此，因为我们的数字以均值0为中心，所以它基本上消除了一半的方差。 这就是为什么我们加上2的分子。
Kaiming初始化的缺点 Kaiming init在实践中表现很好，为什么还要考虑另一种方法呢？ 事实证明，Kaming init存在一些缺点：
图层之后的平均值不是0而是大约0.5。 这是因为ReLU激活功能可以删除所有负数，从而有效地改变其均值
Kaiming init仅适用于ReLU激活功能。 因此，如果你有一个更复杂的架构（不仅是matmult→ReLU层），那么这将无法在所有层上保持1左右的标准偏差
层之后的标准偏差不是1但接近1。在深层网络中，这不足以使标准偏差始终接近1。
算法方法：LSUV 那么，如果不为更复杂的架构手动定制Kaiming init，我们可以做些什么来获得良好的初始化方案？
论文所有你需要的是一个好的初始化，从2015年开始，展示了一种有趣的方法。 它被称为LSUV（层序单位方差）。
解决方案包括使用简单的算法：首先，使用正交初始化初始化所有层。 然后，进行小批量输入，并为每个层计算其输出的标准偏差。 将每一层除以产生的偏差，然后将其重置为1。以下是本文中解释的算法：
经过一些测试，我发现正交初始化给出的结果与在ReLU之前进行Kaiming初始化相似（有时甚至更差）。
在Fastai MOOC中，Jeremy Howard展示了另一种实现方式，它增加了权重的更新以保持平均值为0。在我的实验中，我还发现将平均值保持在0附近可以得到更好的结果。
def lsuv (layer, minibatch, model ):
stats = Hook(model, calculate_stats)
while model(minibatch) is not None and abs (stats.mean) > 1e-3 :
layer.bias -= stats.mean
while model(minibatch) is not None and abs (stats.std - 1 ) > 1e-3 :
layer.weight.data /= stats.std
stats.remove()
初始化方案的性能 我们将在两种体系结构上检查不同初始化方案的性能：具有5层的“简单”convnet和更复杂的类似resnet的体系结构。
任务是对imagenette数据集（Imagenet数据集中的10个类的子集）进行图像分类。
简单的架构 这个实验可以在这个笔记本 中找到。 请注意，由于随机性，每次结果可能会略有不同（但不会改变顺序和大图）。
下面是3个初始化方案的比较：Pytorch默认的init（它是一个kaiming init但有一些特定的参数），Kaiming init和LSUV init。
请注意，随机init性能非常差，我们将其从后面的结果中删除。
init之后的激活统计信息 第一个问题是第一次迭代的前向传播之后的激活统计数据是什么？ 我们越接近平均值0和标准偏差1，它就越好。
对于标准偏差（右图），LSUV和Kaiming init都接近1（并且LSUV更接近）。 但是对于pytorch默认值，标准偏差更低。
但是对于平均值，Kaiming init的结果更差。 这是可以理解的，因为Kaiming init没有考虑ReLU对平均值的影响。 所以平均值约为0.5而不是0。
复杂架构（resnet50） 现在让我们检查一下我们是否在更复杂的架构上得到了类似的结果。
该架构是xresnet-50，在fastai库中实现。 它比我们之前的简单模型多10倍。
没有规范化层：batchnorm将被禁用。 因为这个层将修改统计信息，所以它应该减少初始化的影响
使用标准化层：将启用batchnorm
第1步：没有batchnorm
这个实验可以在这个笔记本 中找到。
没有batchnorm，10个epoch的结果是：
Pytorch默认初始化：标准差和均值接近于0.这不好并且显示消失的问题
Kaiming init：我们得到了很大的均值和标准差
LSUV init：我们获得了很好的统计数据，不完美，但比其他方案更好
我们看到这个例子的最佳初始化方案为完整训练提供了更好的结果，即使在10个完整的epoch之后也是如此。 这表明在第一次迭代期间保持各层的良好统计数据的重要性。
第2步：使用batchnorm层
这个实验可以在这个笔记本 中找到。
因为batchnorm会规范化层的输出，所以我们应该期望init方案的影响较小。
结果显示所有初始方案的准确性接近88％。 请注意，在每次运行时，最佳初始化方案可能会根据随机生成器而改变。
它表明batchnom层使网络对初始化方案不那么敏感。
像以前一样，最好的似乎是LSUV init（只有一个保持平均值在0左右，标准偏差接近1）。
但结果表明，这对准确性没有影响，至少对于这种架构和这个数据集而言。 它确认了一件事：batchnorm使网络对初始化的质量不太敏感。
结论
第一次迭代非常重要，可以对完整的训练产生持久的影响。
一个好的初始化方案应该在网络的所有层（第一次迭代）的激活上保持输入统计一致（平均值为0，标准差为1）。
Batchnorm层降低了初始化方案的神经网络敏感度。
使用Kaiming init + LSUV似乎是一种很好的方法，特别是当网络缺少规范化层时。
其他类型的架构可能在初始化方面有不同的行为。
