没有显卡也没关系！基于Google Colab免费GPU额度部署Stable Diffusion XL模型，可以生成4K的图！

Stable Diffusion XL是StabilityAI最新的开源模型。是目前业界流行的免费开源图像生成大模型。2023年4月份StabilityAI就宣布了SD XL的存在并在2023年7月26日开源。SD XL相比较此前的模型速度更快、提示词更短、生成的图像更加真实。但是，大多数人可能并没有实际运行过，感受过这个模型的魅力。在这篇博客中，我们给大家展示如何利用Google Colab的免费GPU资源，部署一个SD XL模型，并通过prompt生成一些图片。

下图就是一个例子~（Prompt: Astronaut on Mars During sunset, 4k）

<center>![](https://www.datalearner.com/resources/blog_images/15268655-0429-4c40-aa57-a70839873b16.png)</center>
<center></center>

[TOC]

#### Google Colab简介

Google Colab是一个基于Jupyter notebook的免费云服务，提供GPU和TPU来加速机器学习任务。

每个免费用户都可以获得一个显存约15GB的GPU、内存为12GB左右的CPU和78G硬盘空间。并且可以与Google的云硬盘相连。因此，我们可以直接利用这个notebook运行那些显存要求不高的模型。

简单来说，这个平台最大的特点如下：
- 提供免费的GPU资源
- 只能通过Jupyter Notebook方式访问使用
- 可以通过云端的Jupyter Notebook连接本地硬件运行
- 网络速度非常快！按照第三方python库和加载HuggingFace的模型可以达到300MB/s！

从这些描述我们可以看到，这是一个值得新手练习和验证大模型使用的平台。

#### 用Google Colab部署Stable Diffusion XL做文本生成图片
话不多说，我们直接开始按照如下步骤部署Stable Diffusion XL到Google Colab上，然后运行。

##### 1、新建Colab的notebook
首先，我们新建一个notebook，如下图所示：

<center>![](https://www.datalearner.com/resources/blog_images/1d84070c-9e0f-4a23-b4d7-5a2b0a985161.png)</center>
<center></center>

##### 2、创建GPU运行环境
接下来，我们需要创建（连接）Google提供的GPU资源。点击上面界面右上角的`Connect`边上的小三角形，然后选择`Change runtime type`。

<center>![](https://www.datalearner.com/resources/blog_images/492aae39-2c5d-48d7-8633-5e3074f5975d.png)</center>
<center></center>

默认Google会让你连接CPU环境，这肯定不是我们需要的，所以点击`Change runtime type`之后会出现如下的资源选择，免费用户直接选择`T4 GPU`即可，这也是Google为大家提供的一个免费GPU资源了。

<center>![](https://www.datalearner.com/resources/blog_images/2e918ce6-f438-49d7-92d2-6627aaf29233.png)</center>
<center></center>

保存之后，再次点击右上角的`Connect`按钮就可以连接GPU资源了，当右上角变成如下图所示的样子，说明GPU资源环境已经连接。继续点击那个`T4`按钮之后就会出现下图所示的环境资源情况了：

<center>![](https://www.datalearner.com/resources/blog_images/e1dacc7a-cc50-43fb-8a8d-e15c33d5d28f.png)</center>
<center>![](https://www.datalearner.com/resources/blog_images/145f9bd8-70c5-4579-911f-2390febea4a1.png)</center>
<center></center>

可以看到，我们就有了12.7GB的内存，GPU没有显示（实际上是15GB，后面使用了GPU资源就会显示），硬盘资源78.2GB。

##### 3、StableDiffusion XL代码部署——安装依赖的库
在实际运行代码之前需要先安装相关的库。这里我们用HuggingFace官方提供的diffusers库来运行SD XL。所以需要安装依赖的库代码如下：

```
!pip install transformers
!pip install accelerate
!pip install safetensors
!pip install diffusers
```

上述代码需要在notebook中运行，需要点击左上角的`+ Code`就能出现一个`Cell`，然后在`Cell`里面输入上述代码即可，输入完毕之后`Cell`左侧的那个播放按钮点击一下就开始安装了。

<center>![](https://www.datalearner.com/resources/blog_images/df124405-124c-4b0f-b230-70c41fc08c5a.png)</center>
<center></center>

点击完播放按钮之后就看到下方快速刷新的安装日志了~

<center>![](https://www.datalearner.com/resources/blog_images/835fae02-ba63-4f04-80da-8da5b0e42845.png)</center>
<center></center>

看到左上角的绿色的勾勾就说明运行很成功，上图里面的左侧就是了。可以看到下方的日志，安装速度很快，下载速度最快都到了84MB/S，比国内的网络好多了。

##### 4、StableDiffusion XL代码部署——从HuggingFace下载SD XL模型并加载到内存中
接下来就是加载模型了，我们需要继续在notebook的左上方`+ Code`点击，新建一个代码块，然后输入如下代码：

```
from diffusers import StableDiffusionXLPipeline
import torch

# 确认cuda环境是否OK，这里的输出必须是True才说明你的GPU环境没有问题
print(torch.cuda.is_available())

pipe = StableDiffusionXLPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16, variant="fp16", use_safetensors=True
)
pipe.to("cuda")
```

上述代码输入完毕之后点击左侧的播放按钮，就会从官方的HuggingFace上下载Stable Diffusion XL Base 1.0这个模型了。

<center>![](https://www.datalearner.com/resources/blog_images/0a6ba3f4-c24e-4e50-8123-b15de30ed469.png)</center>
<center></center>

如上图所示，直接下载和加载模型仅需要1分钟左右就行了，这里可以看到模型大小5GB多，下载速度最高接近300MB/S，所以模型就算大，直接运行下载也很快，这里的一分钟包含了从HuggingFace下载模型以及加载的GPU显存里面的时间。同时，右侧的GPU显存也出现了7.7/15.0GB，说明给我们分配了15GB显存的GPU，加载SD XL模型用了7.7GB。

##### 5、StableDiffusion XL代码部署——用SD XL来做文本生成图片的推理
经过上述步骤，我们的模型其实就已经完成了，接下来我们要做几个SD XL模型的推理应用。第一个测试的是文本生成图片。代码如下：
```
prompt = "Astronaut on Mars During sunset, 4k"

from datetime import datetime
start = datetime.now()
image = pipe(prompt=prompt).images[0]
print((datetime.now() - start).seconds)

display(image)
```

注意，这里的datetime部分主要是我用来计算我们推理的时间的，大家也可以删除。上述代码运行完毕之后得到如下结果：

<center>![](https://www.datalearner.com/resources/blog_images/3bc2f8b9-b4a6-4e71-b309-8b5bd772f528.png)</center>
<center></center>

可以看到，我们52秒运行完毕出了一张图，然后GPU的显存也从7.7GB涨到了13.9GB，刚刚好足够！如果想继续测试其它图片，直接更改上面的prompt内容就可以，前面的代码也不用再运行了。

#### 用Google Colab部署Stable Diffusion XL做图片生成图片
Image to Image的应用与前面类似，其中1-3步骤不变，主要是加载的模型和使用的方法差别。代码如下：

##### 加载stable-diffusion-xl-refiner-1.0模型
```
# 加载stable-diffusion-xl-refiner-1.0模型
import torch
from diffusers import StableDiffusionXLImg2ImgPipeline
from diffusers.utils import load_image

pipe = StableDiffusionXLImg2ImgPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-refiner-1.0", torch_dtype=torch.float16, variant="fp16", use_safetensors=True
)
pipe = pipe.to("cuda")
```

##### 使用SD XL做Image-to-Image推理
```
url = "https://www.datalearner.com/resources/blog_images/15268655-0429-4c40-aa57-a70839873b16.png"
init_image = load_image(url).convert("RGB")
prompt = "Change the  this photograph to an anime-style illustration"
image = pipe(prompt, image=init_image).images[0]
display(image)
```

这里，我们将前面生成的宇航员照片转成动画风格。结果不多说了。

#### 总结

这篇博客主要给大家介绍了如何使用Google Colab的免费GPU资源来搭建Stable Diffusion XL应用。其实，SD XL能做的事情很多，包括Inpainting、Refining the image output等。这里大家直接看原文档即可，我们也分享一下本文的两个例子，大家直接在自己的Google Colab打开即可运行。

StableDiffusion XL的文本生成图像部署实例：https://colab.research.google.com/drive/18ZwvrW6uOcJchFwEnOMIBCiTwmkPBMvG?usp=sharing

StableDiffsuion XL的图像生成图像部署实例：https://colab.research.google.com/drive/1S3Xd1nOFUkraOGTV_1cBzt8C0_LkGNW_?usp=sharing

没有显卡也没关系！基于Google Colab免费GPU额度部署Stable Diffusion XL模型，可以生成4K的图！

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送

相关博客

最热博客