文章目录
- 1 AI绘画整体流程
- 2 AI绘画技术架构
- 文生图核心算法原理
- 文生图工程架构
- 3 AI绘画的应用实践
1 AI绘画整体流程
- 第一步：输入 Prompt 提示词：
/mj 提示词 - 第二步：文生图(Text-to-Image)构图
- 第三步：图片渲染
- 第四步：图片展示
2 AI绘画技术架构
文生图核心算法原理
- 把人类创造的内容用一个高维的数学向量进行表示
- 如果内容到向量的“翻译”足够合理且能代表内容的特征，人类所有的创作内容都可以转化到空间里的向量。
- 文生图整体可以分为三个部分：Language Model(语言模型)、Diffusion Model(扩散模型)、Decoder Model(解码模型)。
Language Model(语言模型)→Text Encoder(文本编码)
- Language Model 是将输入的 Prompt 文本提示词转化为可以输入到 Diffusion Model 使用的表示形式，通常使用 Embedding 加上一些 Radom Noise 输入到下一层。
Diffusion Model(扩散模型)→Image Information Creator
- 它是一个时间条件 U-Net(用于图像分割的深度学习架构)，它将文本表示和一些高斯噪音作为模型输入，将对应的图像添加一些高斯噪音，得到一个有点噪点的图像，在时间上重复这个过程，重复几百次后就可以获得完全嘈杂的图像。
- 这么做的过程，记录每个步骤的图像版本，用训练的 NN 就可以将噪声较大的示例作为输入，预测输出新图像。
Decode Model(扩散模型)→放大 Diffusion Model 的输出到完整图像
- 它获得 Diffusion Model 的输出并放大到完整图像。
- 比如：扩散模型在 64 X 64 PX 上训练，解码模型将其提高到 512 X 512 PX。
训练Encoder模型
- 在训练过程中，还有一个 Encode Model，它是 Decoder Model 的对应部分，它的目标是将输入图像转化为具有高语义意义的缩减采样表示，会消除与图像不太相关的高频视觉噪声。
- Encoder Model 和 Diffusion Model 训练分开，采用 Encoder Model 后的图像作为 Diffusion Model 的输入，就可以在图像空间的训练比原始图像计算少64倍，大大节省了计算成本。
- 训练模型的训练&推理是计算最贵的部分。
文生图工程架构
- 微服务 + 云原生实时弹性计算和扩容架构
3 AI绘画的应用实践
- 多模态的支持能力：文生图 + 图生图 + 图生文
