Stable Diffusion-2.0

Stable Diffusion-2.0 预训练模型详情

模型全称

Stable Diffusion 2.0

发布组织

Stability AI

发布日期

2022-11-24

预训练文件大小

模型参数数量(亿)

9.83

发布论文

High-Resolution Image Synthesis with Latent Diffusion Models

Stable Diffusion 2.0 简介

SD2全称是Stable Diffusion 2.0,是继Stabale Diffusion 1.5之后重大的升级版本。

Stable Diffusion是一个Text-to-Image大模型,由ComputeVis与RunwayML合作开发的图片生成大模型。StabilityAI贡献了计算资源并开源到业界。与OpenAI DALL·E2和谷歌Imagen的收费使用不同,SD的开源在业界引起了很大的关注。

2.0版本的Stable Diffusion有多项升级。


新的Text-to-Image的Diffusion模型

Stabale Diffusion 2.0版本包括使用全新的文本编码器(OpenCLIP)训练的健Text-to-Image模型,该编码器由LAION在StabilityAI的支持下开发,与早期的V1版本相比,这大大提高了生成图像的质量。此版本中的文本到图像模型可以生成默认分辨率为512x512像素和768x768像素的图像。


这些模型在StabilityAI的DeepFloyd团队创建的LAION-5B数据集的美学子集上进行训练,然后使用LAION的NSFW过滤器进一步过滤以删除成人内容。


超分辨率上标度器扩散模型

Stabale Diffusion2.0还包括一个Upscaler扩散模型,可将图像的分辨率提高4倍。模型可以将低分辨率生成的图像(128x128)放大为高分辨率图像(512x512)。结合我们的文本到图像模型,Stabale Diffusion2.0现在可以生成分辨率为2048x2048甚至更高的图像。


Depth-to-Image

Stabale Diffusion2.0提供了一个新的功能,Depth-to-Image,扩展了V1以前的图像到图像功能,为创造性应用提供了全新的可能性。Depth-to-Image推断输入图像的深度(使用现有模型),然后使用文本和深度信息生成新图像。

这个功能十分有价值,可以用来生成3D模型或者是VR内容。主要原理就是先使用 MiDaS 来推断图片的深度信息(depth)。然后根据文本和原始图像来生成新的图片。值得期待!


图像修正(更新)- Updated Inpainting Diffusion Model

Stabale Diffusion2.0还包括一个新的文本引导修复模型,在新的Stabale Diffusion2.0基础Text-to-Image上进行了微调,这使得它超级容易切换替换修复图片中的部分内容。


目前,Stabale Diffusion2.0的预训练结果文件还未公布,将在未来几日公布。

Stable Diffusion-2.0所属的领域
计算机视觉

计算机视觉

Computer Vision

35个资源

多模态学习

多模态学习

Multimodal Learning

35个资源

Stable Diffusion-2.0相关的任务
文本生成图片

文本生成图片

Text to Image

35个资源

图像生成

图像生成

Image Generation

35个资源