paper:https://arxiv.org/abs/2309.11497
code:GitHub - ChenyangSi/FreeU: FreeU: Free Lunch in Diffusion U-Net
1.intro
贡献:
•研究并揭示了U-Net架构在扩散模型中去噪的潜力,并确定其主要骨干主要有助于去噪,而其跳过连接将高频特征引入解码器模块。
•介绍了“FreeU”,利用U-Net架构的两个组件的优势,来增强U-Net的去噪能力。提高了生成质量,而不需要额外的训练或微调。
•FreeU框架是通用的,与现有的扩散模型无缝集成。通过各种基于扩散的方法证明了样品质量的显著改善,显示了FreeU在不增加额外成本的情况下的有效性。
2. 方法
图2。去噪过程。顶部一行说明了图像在迭代中的渐进去噪过程,而随后的两行显示了傅里叶反变换后的低频和高频分量,匹配每一步。去噪过程中,低频分量变化缓慢,高频分量显著变化。