超越图像超分辨率的任务驱动感知损失图像识别

超越图像超分辨率的任务驱动感知损失图像识别

    在实际场景中，由于低分辨率（LR）内容中缺乏可用信息，图像识别任务（如语义分割和对象检测）通常会带来更大的挑战。图像超分辨率（SR）是解决这些挑战的有前景的解决方案之一。然而，由于SR的病态特性，典型的SR方法很难恢复与任务相关的高频内容，这可能会削弱使用SR方法的优势。因此，提出了超分辨率图像识别（SR4IR），它有效地指导了SR图像的生成，有利于在处理LR图像时实现令人满意的图像识别性能。SR4IR的关键组成部分是任务驱动的感知（TDP）损失，它使SR网络能够从为特定任务量身定制的网络中获取特定任务的知识。此外，提出了一种跨质量补丁组合和一种替代训练框架，通过解决使用TDP损失时的潜在问题，显著提高了TDP损失的效率。通过广泛的实验，证明改进的SR4IR通过生成可用于特定图像识别任务的SR图像来实现出色的任务性能，包括语义分割、对象检测和图像分类。

    改进的SR4IR框架如图4-19所示。

 

图4-19  改进的SR4IR框架

在图4-19中，SR4IR框架由两个训练阶段组成，其中SR和任务网络交替训练。在第一阶段，SR4IR使用TDP损耗更新SR网络，同时任务网络暂时冻结。在第二阶段，SR4IR使用CQMix的改进数据增强策略更新任务网络，同时SR网络暂时冻结。