Latent Diffusion Models

数字图像的大多数位都对应于不可察觉的细节。虽然扩散模型（DMs）允许通过最小化相关损失项来抑制这些在语义上无意义的信息，但在训练期间，梯度和神经网络的主干（在训练和推理过程中）仍需要对所有像素进行评估，导致了多余的计算以及不必要的昂贵优化和推理。

---

与任何基于似然的模型一样，学习过程可以大致分为两个阶段：第一阶段是感知压缩阶段，该阶段去除了高频细节，但仍学习较少的语义变化。在第二阶段，实际的生成模型学习数据的语义和概念组成（语义压缩）。因此，我们的目标是首先找到一个感知上等效但计算上更适合的空间，在其中我们将训练用于高分辨率图像合成的扩散模型。