ControlNet

ControlNet是一种神经网络结构，通过添加额外的条件来控制扩散模型（Diffusion Model），对于AI图像生成而言，这是一场革命。它为稳定扩散（Stable Diffusion）带来了前所未有的控制水平。

ControlNet的革命性在于其解决了空间一致性问题。以往，没有一种有效的方法可以告诉AI模型哪些输入图像的部分需要保留，但ControlNet通过引入一种方法，使得稳定扩散模型可以使用额外的输入条件，告诉模型要做什么。

ControlNet并不是一个新的CV模型，它可以看作是一种针对Stable Diffusion模型的微调框架。它可以将神经网络块的权重复制到“锁定”副本和“可训练”副本中。可训练的部分将根据新的数据进行权重微调，而剩余部分则保持不变。

ControlNet可以与当前已有的很多模型结合来继续训练，在很多任务上都有着十分好的效果。因此，已经在Diffusion Model中广泛使用。