DDPM

条件概率公式

$$P(A,B,C)=P(C\mid B,A)P(B,A)=P(C\mid B,A)P(B\mid A)P(A)\\P(B,C|A)=P(B|A)P(C|A,B)$$

基于马尔可夫链的条件概率分布

A->B->C，所以可以对上述公式进行简化

$$\begin{aligned}&P(A,B,C)=P(C\mid B,A)P(B,A)=P(C\mid B)P(B\mid A)P(A)\\&P(B,C|A)=P(B|A)P(C|B)\end{aligned}$$

高斯分布的KL散度

$$KL(p,q)=log\frac{\sigma_2}{\sigma_1}+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma_2^2}-\frac12$$

重参数化

VAE

虚线为编码器，实线为解码器。z为分布

求x的分布，转化为期望形式，然后使用Jenson不等式，只需要最大化下界

$$p(x)=\int_zp_\theta(x|z)p(z)\\p(x)=\int q_\phi(z|x)\frac{p_\theta(x|z)p(z)}{q_\phi(z|x)}\\\log p(x)=\log\mathbb{E}_{z\sim q_\phi(z|x)}\left[\frac{p_\theta(x|z)p(z)}{q_\phi(z|x)}\right]\\\log p(x)\geq\mathbb{E}_{z\sim q_\phi(z|x)}\left[\log\frac{p_\theta(x|z)p(z)}{q_\phi(z|x)}\right]$$

Diffusion

扩散过程

1. 给定初始数据分布，不断添加高斯噪声，噪声的标准差是固定的，均值同样，是一个马尔科夫链过程。

最终的图像应该是一个各项独立的高斯分布

$$q(\mathbf{x}_t|\mathbf{x}_{t-1})=\mathcal{N}(\mathbf{x}_t;\sqrt{1-\beta_t}\mathbf{x}_{t-1},\beta_t\mathbf{I})\quad q(\mathbf{x}_{1:T}|\mathbf{x}_0)=\prod_{t=1}^Tq(\mathbf{x}_t|\mathbf{x}_{t-1})$$