DALL·E 系列是由 OpenAI 开发的一系列基于大型语言模型的文本到图像生成系统。它们的核心目标是将文本描述转化为高度精确的图像。DALL·E2在2022年4月发布，但是一直没有公开使用，一年半后的2023年9月21日，OpenAI发布第三代DALL·E3，并承诺将与ChatGPT集成。
2021年1月份，OpenAI发布了他们的DALL·E模型，它能从文字说明中创建图像，用于表达各种可由自然语言表达的概念。一年后，OpenAI发布了第二代的DALL·E模型。相比较第一代的模型，DALL·E 2，以4倍的分辨率生成更真实和准确的图像。
下图是第一代DALL·E和第二代DALL·E2的对比：
本次发布的DALL·E 3相较于OpenAI之前的系统更能理解更多的细微差别和细节，这使得大家能够轻松地将您的想法转化为极为准确的图像。简单来说，OpenAI此次发布的DALL·E3系列着重强调降低用户提示的负担，关注更多文本的细节。
Follow DataLearner WeChat for the latest AI updates
现代的文本到图像系统往往会忽略一些词语或描述，迫使用户学习提示工程。DALL·E3代表了OpenAI在生成与提供的文本完全一致的图像方面的巨大进步。
官方用一个实例描述了这种关注文本细节的图像生成模型的能力。如下图所示：
这张图展示了DALL·E3的细节处理，主要包含4个方面：
上面加粗的部分表示图像中识别到的文本细节内容，可以说十分还原了。DataLearner也测试了Stable Diffusion XL的结果，如下图：
差距明显，很多细节无法还原。换一种风格：
差距依然十分明显！注意由于我们不知道DALLL·E3的提示词，我们将上述四个细节合并如下：
The sidewalks bustling with pedestrains enjoying the nightlife. A bustling city street under the shine of a full moon. At the corner stall, a young woman with fiery red hair, dressed in a signature velvet cloak, is haggling with the grumpy old vendor The grumpy vendor, a tall, sophisticated man, is wearing a sharp suit sports a noteworthy moustache and is animatedly conversing on his steampunk telphone.
根据OpenAI的描述，DALL·E3是在ChatGPT上原生构建的，它可以让ChatGPT用作集思广益的合作伙伴和提示的细化器。只要问ChatGPT你想在任何内容中看到什么，不管是从简单的句子还是到详细的段落都可以。
从这段描述中可以猜测，DALL·E3背后应该是接入了ChatGPT来理解用户的提示词，然后做了转换之后传给DALL·E3，生成更加详细的文本。这就导致了一个问题，也许同样的提示词，不经过ChatGPT润色很难得到更加优质的图像。而这部分会使得DALL·E3的表现很好的提示词可能无法在其它模型上应用，因为我们不知道背后ChatGPT与DALL·E3之间如何微调或者优化过。
下图是官方演示视频中DALL·E3的使用
可以看到，用户先在ChatGPT输入内容，然后ChatGPT给出几个候选提示词，每一个提示词会生成一个图像。很精美~
DALL·E 3目前正在研究预览中，将于10月通过API和今年秋季晚些时候在实验室向ChatGPT Plus和企业客户提供。也就是说，尊贵的付费的ChatGPT Plus用户在秋天就可以体验使用DALL·E3了！
需要注意的是，与之前的版本一样，OpenAI已经采取措施限制DALL·E 3生成暴力、成人或仇恨内容的能力。OpenAI也在试验一种出处分类器——一种新的内部工具，可以帮助我们识别图像是否由DALL·E 3生成。那么，要使用这种方式创造假照片造假可能也会容易被分辨~
关于DALL·E3的其它后续更新参考DataLearner的DALL·3模型信息卡：https://www.datalearner.com/ai-models/pretrained-models/DALL-E-3
