DALL·E-2可以通过自然语言的描述创建现实的图像。 Openai发布了dall·e-2的Beta版。 在本文中,我们将仔细研究DALL·E-2的原始研究论文,并了解其确切的工作方式。由于并没有开放源代码, Boris Dayma等人根据论文创建了一个迷你但是开源的模型Dall·E Mini(命名为Craiyon),并且在craiyon.com上提供了一个DEMO。

在本文中,我们还将使用Meadowrun(一个开源库,可以轻松地在云中运行Python代码)把DALL·E Mini生成的图像输入到其他图像处理模型(GLID-3-xl和SwinIR)中来提高生成图像的质量,通过这种方式来演示如何将开源的ML模型部署到我们的云服务器上(AWS的EC2)。

DALL·E-2论文要点

DALL·E-2基于以前提出的unCLIP模型,而unCLIP模型本质上是对GLIDE模型[4]的增强版,通过在文本到图像生成流程中添加基于预训练的CLIP模型的图像嵌入。

与GLIDE相比,unCLIP可以生成更多样化的图像,在照片真实感和标题相似性方面损失最小。unCLIP中的解码器也可以产生多种不同图像,并且可以同时进行文本到图像和图像到图像的生成。

unCLIP框架

为了对给定的文本生成图像,提出了两阶段的过程:

1)使用先验编码器将文本编码到图像嵌入空间

2)使用图像扩散解码器根据图像嵌入生成图像。

由于它是通过反转CLIP图像编码器来生成图像的,因此本文将该框架命名为unCLIP。

CLIP[3]可以共同学习文本和图像的表示形式,如上图(虚线上方)所示将一对(文本,图像)对相同的嵌入空间进行编码。

训练过程

给定一个(图像x,文本y)对,首先获取图像和文本嵌入,称为zᵢ= clip(x),zₜ= clip(y)。

先验:p(zᵢ| y,zₜ)产生图像嵌入zᵢ条件y。

解码器:P(X |Zᵢ,Y),根据图像嵌入zᵢ(和可选的文本标题y)产生图像。

p(x | y)= p(x | y,zₜ)= p(x |zᵢ,y)p(zᵢ| y,zₜ)

训练细节

使用CLIP数据[3]和DALL-E[2]数据(共计650M图像)进行训练。

VIT-H/16图像编码器:输入为256×256图像,总计32层transformers,嵌入尺寸为1280。

GPT文本编码器:具有1024个嵌入和24层transformers解码器。

CLIP Model训练完成后,先验模型、解码器模型和上采样模型都只在DALL-E数据集(总共约250M幅)上训练。

解码器模型是一个3.5B的 Glide模型,包含两个模块:1.2B 24层transformers文本编码器和2.3B的ADM模型。 在训练期间,有50%的概率删除标题,有10%概率删除图像的嵌入。

为了生成高分辨率图像,作者训练了两个UPS采样器模型。 两者都使用ADMNET体系结构。 第一个将图像从64×64到256×256,第二个图像从256×256到1024×1024。

 

完整文章:

 

https://avoid.overfit.cn/post/8f08832ec42d402a836a5c3f5ee0440d

相关链接

评论可见,请评论后查看内容,谢谢!!!评论后请刷新页面。
大家都在看: