EraseDraw: Learning to Draw Step-by-Step via Erasing Objects from Images
Introduction
提出了一个erase/inpaint框架,同时提出一个数据集。文章中主要是介绍如何生成的数据。
Methods
整个pipeline的设计非常直观,首先通过VLLM对图像进行描述,然后进行检测与分割,对检测的区域进行erase,然后根据新的prompt进行inpaint。
文章主要的贡献在提出了数据集,同时提供了数据集的生成过程。从文中给出的样例来看质量不错。
Experiments
在提出的数据集上微调的SD1.5效果
单步生成
迭代生成
在给定的背景图上给出多次插入对象。然后与SD1.5直接给出所有prompt的生成进行对比。
改进方向
通过给出的样例可以看出微调的效果较好,其中多步生成更是最大限度的保留了原始背景,但是插入的图片像是与原先背景处在不同图层。
同时基础模型直接微调SD,是否在其他模型上使用该数据集能有更好的效果。
EraseDraw: Learning to Draw Step-by-Step via Erasing Objects from Images
https://dreamerland.cn/2024/10/24/图像编辑/EraseDraw/