URST：解决超高分辨率图像的风格迁移问题
- 提出背景
- URST框架的整体架构
提出背景
论文：https://arxiv.org/pdf/2103.11784.pdf
代码：https://github.com/czczup/URST?v=1
有一张高分辨率的风景照片，分辨率为10000×10000像素，我们希望将这张照片的风格转换成梵高的《星夜》的风格。
使用传统的风格迁移方法处理这么高分辨率的图像会遇到巨大的内存开销问题，而且在风格迁移后的图像中，细节部分的风格可能会因为小笔触尺寸而不够突出。
使用URST框架来处理这项任务。
首先，URST将这张高分辨率的风景照片分割成许多小块。
- 提出分块式风格迁移
- 因为超高分辨率图像可能超出GPU内存容量的问题
接着，利用Thumbnail Instance Normalization（TIN）技术，为每个小块提取《星夜》风格的特征归一化统计数据，并应用这些统计数据来进行小块的风格迁移。
- 直接使用实例归一化（IN）进行小块风格迁移可能会导致风格不一致，从而无法组合成一个令人满意的图像。
- 提出一种新颖的缩略图实例归一化（TIN）层，能够提取缩略图特征的归一化统计数据并应用于小块，确保不同小块之间的风格一致性。
这个过程确保了整个高分辨率图像在风格迁移后，在不同小块之间保持风格的一致性。
- (a) 将输入作为一个整体进行归一化。
- (b) 将输入分成四个小块并分别归一化。
- © 应用缩略图的归一化统计信息到这四个小块，获得了类似于(a)的输出。结果显示IN不适用于分块式风格迁移。
通过这种方式，即使是在处理极高分辨率的图像时，URST也能成功地将《星夜》的风格迁移到风景照片上，同时避免了传统方法中的内存问题。
并且能够通过提出的笔触感知损失增大笔触尺寸，使得风格迁移后的图像在视觉上更加吸引人和风格鲜明。
- 我们提出了一种笔触感知损失作为神经风格迁移的辅助损失，激励风格迁移网络保持大的笔触。
- 因为在超高分辨率风格化结果中，笔触相对较小，导致过于细小和密集的纹理问题。
- 在没有笔触感知损失的情况下：风格化后的图像可能会展现出非常细小、密集的纹理，这些纹理在视觉上会显得过于繁忙，缺乏艺术风格的宏观表现力。
- 引入笔触感知损失后： 风格化后的图像会有更大、更明显的笔触，这些笔触更贴近梵高的原作风格，使得整个图像在视觉上更加和谐、具有艺术感。大笔触不仅能够减少过于细小和密集的纹理，还能增强视觉效果的动态感和表现力。
此外，URST的这种处理方式不仅效果卓越，而且可以轻松地应用于其他现有的风格迁移方法中，进一步提高它们处理超高分辨率图像时的性能。
URST框架的整体架构
分为三个阶段：分割、风格化和组装。
核心思想是将超高分辨率(UHR)的内容图像分割成小块，并使用提出的TIN进行分块式风格迁移。
风格迁移网络可以是不同的方法。除了原始方法的损失Lo之外，还引入了一种名为笔触感知损失Lsp的辅助损失，以增大笔触大小。
这些关键设计帮助我们首次构建了一个无分辨率限制的风格迁移系统。
这是一张关于神经风格迁移的消融研究图，用于展示所提出的笔触感知损失 L s p L_{sp} Lsp 在增大现有风格迁移方法笔触尺寸方面的效果。
图片展示了两个不同的地方的风景照片，以及这些照片使用不同方法进行风格迁移后的结果。
- 图(a)展示了原始内容和艺术风格的图片。
- 图(b)显示了使用AdaIN方法进行风格迁移的结果。
- 图©显示了使用AdaIN方法加上提出的笔触感知损失 L s p L_{sp} Lsp 进行风格迁移的结果。
- 图(d)显示了使用LinearWCT方法进行风格迁移的结果。
- 图(e)显示了使用LinearWCT方法加上提出的笔触感知损失 L s p L_{sp} Lsp 进行风格迁移的结果。
通过比较(b)和©，以及(d)和(e)，可以看到加入笔触感知损失 L s p L_{sp} Lsp 后的风格迁移结果中，笔触尺寸显著增大，纹理更加稀疏，更能体现出原始艺术风格的特征。
这说明提出的笔触感知损失有效地促进了风格迁移网络生成更大的笔触，从而提高了超高分辨率图像风格迁移的质量。
