【DA-CLIP】图像退化类型检测功能演示代码

背景

在CLIP基础上微调而来,使用图像控制器编码生成退化类型embedding并在训练中对图像编码器进行控制。针对十种退化类型进行了训练。

解决CLIP模型在图像纹理等层面无法针对退化类型识别或识别率较低的问题。

训练数据集情况

 GitHub有对应数据集连接

 

完整代码

项目没有提供退化类型识别准确率计算的代码。只提供了上面的雷达图对比。毕竟这只是复原处理的一小部分。

以下代码是缺少img复原处理的版本。这份代码是在app.py的基础上做了退化类型检测功能,并去掉图像复原处理过程。GitHub - Algolzw/daclip-uir: [ICLR 2024] Controlling Vision-Language Models for Universal Image Restoration. 5th place in the NTIRE 2024 Restore Any Image Model in the Wild Challenge.[ICLR 2024] Controlling Vision-Language Models for Universal Image Restoration. 5th place in the NTIRE 2024 Restore Any Image Model in the Wild Challenge. - Algolzw/daclip-uiricon-default.png?t=N7T8https://github.com/Algolzw/daclip-uir

下载项目、预训练模型权重、安装环境后将该份代码复制到app.py同一目录下运行即可 

 # 缺少img处理的版本
# 这份代码是在app的基础上做了daclip退化类型检测功能,并去掉图像复原处理过程
import os
import gradio as gr
import argparse
import numpy as np
import torch
from PIL import Image
from torchvision.transforms import Compose, Resize, CenterCrop, ToTensor, Normalize, InterpolationMode
import options as option
from models import create_model
import open_clipparser = argparse.ArgumentParser()
# ArgumentParser对象是argparse模块的核心,它提供了一个接口来添加参数(arguments)和选项(options)到你的程序
parser.add_argument("-opt", type=str, default='options/test.yml', help="Path to options YMAL file.")
# 添加一个命令行选项,这个选项被命名为-opt,它是一个接受字符串类型的参数
opt = option.parse(parser.parse_args().opt, is_train=False)
# 调用options.py中的parse方法,接受两个参数,args.opt是通过 argparse 解析器得到的选项值,采用刚刚定义的默认YMAL地址opt = option.dict_to_nonedict(opt)
# convert to NoneDict, which return None for missing key.
# load pretrained model by default
model = create_model(opt)
# 在models的init.py中的create_model()
device = model.device
# 根据配置决定CUDA还是CPUclip_model, preprocess = open_clip.create_model_from_pretrained('daclip_ViT-B-32', pretrained=opt['path']['daclip'])clip_model = clip_model.to(device)def clip_transform(np_image, resolution=224):# 这一行定义了一个名为clip_transform的函数,它接受两个参数:np_image(一个NumPy数组格式的图像)和resolution(一个可选参数,默认值为224,表示图像的目标分辨率)。pil_image = Image.fromarray((np_image * 255).astype(np.uint8))# 这一行将NumPy数组格式的图像转换为PIL(Python Imaging Library)图像。首先,将NumPy数组中的像素值乘以255,然后转换为无符号的8位整数格式,这是因为图像的像素值通常在0到255的范围内。return Compose([# 来自torchvision.transforms# 这一行开始定义一个转换流程,Compose是来自albumentations库的一个函数,用于组合多个图像转换操作。Resize(resolution, interpolation=InterpolationMode.BICUBIC),# 这一行使用Resize操作来调整图像大小到指定的分辨率。interpolation=InterpolationMode.BICUBIC指定了使用双三次插值方法来调整图像大小,这是一种高质量的插值算法。CenterCrop(resolution),# 这一行应用CenterCrop操作,将调整大小后的图像进行中心裁剪,以确保图像的尺寸严格等于指定的分辨率ToTensor(),# 这一行使用ToTensor操作将PIL图像转换为PyTorch张量。这是为了使图像能够被深度学习模型处理。Normalize((0.48145466, 0.4578275, 0.40821073), (0.26862954, 0.26130258, 0.27577711))])(pil_image)# 这一行应用Normalize操作,对图像的每个通道进行标准化。它使用两组参数,分别对应图像的均值和标准差。这些参数通常是根据预训练模型的要求来设置的。# 然后,将转换流程应用到PIL图像上,并返回处理后的张量。examples = [os.path.join(os.path.dirname(__file__), f"images/{i}.jpg") for i in range(1, 11)]degradations = ["运动模糊", "有雾", "JPEG压缩伪影", "低光照", "噪声", "雨滴", "多雨的", "阴影遮挡的", "多雪的", "遮挡修复"
]
text_tokens = ['motion-blurry', 'hazy', 'jpeg-compressed', 'low-light', 'noisy', 'raindrop', 'rainy', 'shadowed','snowy', 'uncompleted']
text = open_clip.tokenize(text_tokens).to(device)def detect(image):image = image / 255.# 这一行将输入的图像张量的像素值归一化到0到1的范围内。img4clip = clip_transform(image).unsqueeze(0).to(device)if image is None:passelse:# 计算daclip识别结果with torch.no_grad(), torch.cuda.amp.autocast():image_features, degra_features = clip_model.encode_image(img4clip, control=True)# degra_features = clip_model.encode_image(img4clip, control=False)# control=True启动图像控制器,不设置只有clip图像编码器text_features = clip_model.encode_text(text)# normalized featuresdegra_features = degra_features / degra_features.norm(dim=1, keepdim=True)text_features = text_features / text_features.norm(dim=1, keepdim=True)# cosine similarity as logitslogit_scale = clip_model.logit_scale.exp()logits_per_image = logit_scale * degra_features @ text_features.t()# ...(省略之前的代码)probs = logits_per_image.softmax(dim=-1).cpu().numpy()degradation_probabilities = {degradation: round(prob, 3) for degradation, prob inzip(degradations, probs[0].flatten())}print(degradation_probabilities)# 返回恢复后的图像和输入的退化类型。return degradation_probabilitiesinterface = gr.Interface(fn=detect,  # 要调用的函数inputs=[gr.Image(label="输入图像")],outputs=gr.Label(label="退化类型概率"),title="DA-CLIP的图像退化识别" # 界面标题, examples=examples
)interface.launch()
# 修改为原图输出,只求退化类型

代码思路 

  • 设置命令行参数:通过argparse库设置命令行参数,用于指定配置文件的路径。
  • 加载预训练模型:根据提供的配置文件加载预训练的DA-CLIP模型。
  • 图像预处理:定义clip_transform函数,用于将NumPy数组格式的图像转换为适合模型输入的格式。
  • 定义退化类型列表:创建一个包含所有可能退化类型的列表。
  • 模型推理:在detect函数中,对输入图像进行必要的预处理,然后使用DA-CLIP模型进行推理,计算每个退化类型的概率。
  • 格式化输出:将模型输出的概率转换为字典格式,并选择概率最高的退化类型。
  • Gradio界面:使用Gradio库创建一个界面,用户可以通过它上传图像并获取退化类型的概率。

 图像编码模型处理过程:

【DA-CLIP】encode_image图像编码过程和IRSDE对image_context,、degra_context的使用-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/m0_60350022/article/details/137692282

 clip_model.encode_image也可设置control为False进行CLIP的分类演示测试。

  • 模型编码 (encode_imageencode_text方法): 经过预处理的图像被送入模型进行特征提取。在DA-CLIP模型中,encode_image方法用于从图像中提取视觉特征,而encode_text方法用于提取文本特征。这些特征向量是高维空间中的点,它们编码了输入数据的关键信息。

  • 特征归一化: 为了提高计算效率和模型性能,通常会对提取的特征进行归一化处理。在代码中,使用norm方法对图像特征和文本特征进行L2归一化,使得每个特征向量的长度为1。

  • 相似度计算 (logits_per_image计算): 模型使用特征向量来计算图像与每个退化类型之间的相似度。在DA-CLIP模型中,这通常是通过计算特征向量之间的点积(即内积)来实现的。logit_scale是一个可学习的参数,用于调整相似度得分的尺度。

  • 概率计算 (softmax函数): 得到相似度得分后,需要将它们转换成概率分布。softmax函数可以将任意实数值向量转换成概率分布,使得向量中所有元素的和为1。这样,每个得分就表示了图像属于某个特定退化类型的概率。

运行演示 

上传图像,展示退化类型识别结果百分比。后台提供三位小数计算结果

  • 比较难绷的是example计算全为近100% ,所以是十边形战士?没啥精力搞十个数据集测试,感兴趣的同学可以去了解一下
  • readme提供的LQ_image其实是训练集、测试集的一部分计算出来也全是100%

  • 合成噪声比较明显的话也很好识别
  • 可以改一个DACLIP和CLIP结果对比的,我就先不搞了,可以复制一份搞两个网页,不过很吃内存hh
  • 上面是DA-CLIP,下面修改了control是CLIP的计算结果

  •  SIDD智能手机图像去噪数据集的sRGB噪声图
  •  对于真实手机拍摄图像的识别效果还不是很好,这个计算是不是有点绝对了,,虽然低光照是一个很明显的问题
  • 可能这也导致不同数据集上测试这个模型效果不够好的原因,比如是想做去噪的但是复原模型却输入了低光照的退化嵌入

 CLIP有时候确实感觉在胡扯,比如下面这图识别成rainy..

 

  •  old photo数据集,没翻论文看经过了什么处理合成的LQ图像,直观看比较接近snowy也算合理

 

CLIP的结果 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/623917.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

零基础小白如何才能学好网络安全?(附:学习路线图及学习资料)

经常有小伙伴在后台留言,问如何才能学好网络安全。比如有小伙伴说,听人说可以先学网页基础,但是自己学了html、CSS,感觉跟网络安全挨不着边,不知道如何入手学习。 其实,网络安全没有大家想的那么神秘&#…

Jenkins上面使用pnpm打包

问题 前端也想用Jenkins的CI/CD工作流。 步骤 Jenkins安装NodeJS插件 安装完成,记得重启Jenkins。 全局配置nodejs Jenksinfile pipeline {agent anytools {nodejs "18.15.0"}stages {stage(Check tool version) {steps {sh node -vnpm -vnpm config…

华硕ROG幻16笔记本电脑模式切换管理工具完美替代华硕奥创中心管理工具

文章目录 华硕ROG幻16笔记本电脑模式切换管理工具完美替代华硕奥创中心管理工具1. 介绍2. 下载3. 静音模式、平衡模式、增强模式配置4. 配置电源方案与模式切换绑定5. 启动Ghelper控制面板6. 目前支持的设备型号 华硕ROG幻16笔记本电脑模式切换管理工具完美替代华硕奥创中心管理…

软件架构动态演化

动态演化是在系统运行期间的演化,需要在不停止系统功能的情况下完成演化,较之静态演化更加困难。 1.动态演化的需求 架构的动态演化主要来自两类需求:①软件内部执行所导致的体系结构改变,例如,许多服务器端软件会在客…

目标检测——YOLO系列学习(一)YOLOv1

YOLO可以说是单阶段的目标检测方法的集大成之作,必学的经典论文,从准备面试的角度来学习一下yolo系列。 YOLOv1 1.RCNN系列回顾 RCNN系列,无论哪种算法,核心思路都是Region Proposal(定位) classifier&am…

【数据结构】遍历二叉树(递归和非递归遍历的先序、中序和后序遍历、层次遍历法)

目录 【数据结构】遍历二叉树(递归和非递归遍历的先序、中序和后序遍历、层次遍历法)一、递归算法先(根)序的遍历算法中(根)序的遍历算法后(根)序的遍历算法 二、非递归算法层次遍历…

【vue】Pinia-2 安装Pinia,使用store

1. 安装Pinia 在项目路径下执行npm install pinia 在package.json中查看 2. 使用store 在main.js中添加 import { createPinia } from pinia const pinia createPinia()修改createApp方法 最后示例如下(三处修改) import { createApp } from vue //…

JRT多服务器同步程序

之前的JRT只部署在一个服务器,实际运用可能会有数台、数十台、或者更多服务器。那么多台服务器就需要程序同步机制。这里借助Rsync同步,但是有个问题是Rsync同步jar之后他不知道是否需要重启站点,为此实现java控制台驱动Rsync,重定…

车载摄像头畸变校正解决方案,打造无畸变高清视界

在车载摄像头日益普及的今天,摄像头图像的畸变问题成为了制约图像质量提升的一大瓶颈。畸变不仅影响画面的美观度,更关键的是它可能导致智能驾驶系统对环境的误判,进而威胁到行车安全。美摄科技凭借其在图像处理领域的深厚实力,推…

cpcie和cpci差别

CPCI总线 •PCI总线作为处理器系统的局部总线,主要目的是为了连接外部设备,而不是作为处理器的系统总线连接Cache和主存储器 •(1) PCI总线空间与处理器空间隔离 •(2) 可扩展性 桥 •(3) 动态配置机制即插即用 •(4) 总线带宽 •(5) 共享总线机制 •…

2024年nodejs调用小红书最新关注(粉丝)follow接口,api接口分析2004-04-16

一、打开chrome按f12,点击右上角的“关注”按钮,抓包位置如下: (图1 follow接口) 二、follow接口分析 1、请求地址 https://edith.xiaohongshu.com/api/sns/web/v1/user/follow 2、请求方法: POST 3、请求头: :authority: edith…

Web3.0与AI的交融:开启智能互联网新时代

目前有140 多个 Web3 AI 概念项目,覆盖了基础设施、数据、预测市场、计算与算力、教育、DeFi & 跨链、安全、NFT & 游戏 & 元宇宙、搜索引擎、社交 & 创作者经济、AI 聊天机器人、DID & 消息传递、治理、医疗、交易机器人等诸多方向。持续关注…