ControlNet
Data sourced primarily from official releases (GitHub, Hugging Face, papers), then benchmark leaderboards, then third-party evaluators. Learn about our data methodology
ControlNet是一个系列模型。模型相关论文内容参考： 大模型预训练模型微调新模式——ControlNet：提高大模型在特定任务微调的效果
ControlNet是一种新的神将网络结构，由斯坦福大学的Lvmin Zhang和Maneesh Agrawala提出的可以用来增强扩散模型的方法。主要是基于已有的Text-to-Image预训练模型对特定数据进行微调以更加适合使用者的目的。这个结构最大的特点是可以在比较资源少的设备如个人PC上对大模型进行调整以获得更好的效果。
这个结构可以帮助大家去训练模型，提高模型在一些特定任务上的效果。大模型一般可能是文本-图像对应关系训练的。但是这种模型在边缘检测、关键点识别等任务上需要做微调。微调的代价比较高，效果也不确定，而ControlNets的作用就是和原来的大模型一起对特定任务重训练的方法。
微软最新的Visual ChatGPT的也用到了这个能力。
| 模型名称 | 类型 | 地址 |
|---|---|---|
| Controlnet - Canny Version | Canny边缘检测 | https://huggingface.co/lllyasviel/sd-controlnet-canny |
| Controlnet - Image Segmentation Version | 图像分割 | https://huggingface.co/lllyasviel/sd-controlnet-seg |
| Controlnet - Scribble Version | 图片涂鸦 | https://huggingface.co/lllyasviel/sd-controlnet-scribble |
| Controlnet - Normal Map Version | 法线估计 | https://huggingface.co/lllyasviel/sd-controlnet-normal |
| Controlnet - M-LSD Straight Line Version | 直线提取 | https://huggingface.co/lllyasviel/sd-controlnet-mlsd |
| Controlnet - Depth Version | 图片深度估计 | https://huggingface.co/lllyasviel/sd-controlnet-depth |
| Controlnet - HED Boundary Version | HED 网络的图像边缘检测 | https://huggingface.co/lllyasviel/sd-controlnet-hed |
| Controlnet - Human Pose Version | 人类姿态估计 | https://huggingface.co/lllyasviel/sd-controlnet-openpose |
这些模型都是作者实现的，将ControlNet与知名的算法结合的预训练结果，效果很好，可以直接使用！
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
