深度学习算法应用实战 | 利用 CLIP 模型进行“零样本图像分类”

文章目录

    • 1. 零样本图像分类简介
      • 1.1 什么是零样本图像分类?
      • 1.2 通俗一点的解释
    • 2. 模型原理图
    • 3. 环境配置
    • 4. 代码实战
    • 5. Gradio前端页面
      • 5.1 什么是 Gradio ?
    • 6 进阶操作
    • 7. 总结

1. 零样本图像分类简介

在这里插入图片描述

1.1 什么是零样本图像分类?

“零样本图像分类”（Zero-shot image classification）指的是使用一个模型对图像进行分类，而这个模型并没有在包含那些特定类别的标记样本的数据上进行过显式训练。

传统的图像分类方法需要在一组特定的带标签的图像上训练模型。这个模型通过学习，将图像的某些特征与标签相对应。当需要使用这种模型来处理引入了新标签集的分类任务时，通常需要进行模型的微调，以适应新的标签。

与此相反，零样本或开放词汇的图像分类模型通常是多模态模型，这些模型在包含大量图像及其相关描述的数据集上进行训练。这些模型学习了视觉和语言之间对齐的表示方法，可以应用于包括零样本图像分类在内的许多下游任务。

这是一种更为灵活的图像分类方法，它允许模型在不需要额外训练数据的情况下，泛化到新的和未见过的类别。同时，它也使用户能够用自由形式的文本描述来查询他们目标对象的图像。

1.2 通俗一点的解释

上面的内容如果看不懂没关系，下面我来用通俗的语言解释这段话：

比如我们想让一个熊孩子能认识不同的图片（比如区分猫和狗），我们需要给这个熊孩子看很多标有“这是猫”、“这是狗”的图片来训练它。这就像是在教熊孩子“这些特征意味着猫，那些特征意味着狗”。但如果突然出现一个新的动物种类，比如浣熊，而熊孩子之前没有学习过浣熊的图片，它就不知道怎么识别了。这时，我们通常需要给熊孩子更多的浣熊图片来训练它识别浣熊。这就是我们上面提到的传统的图像分类。

然而，“零样本图像分类”就像是给熊孩子一种超能力，让它能在没有直接学习过某个类别（比如浣熊）的情况下也能识别出来。这种方式是通过训练熊孩子理解图片和文字之间的关系来实现的。比如，熊孩子在学习的时候不仅看图片，还学习这些图片的描述。这样，当它遇到一个新的图片（比如浣熊），即使它之前没有直接学习过，它也可以通过理解图片的特征和之间学到的文字描述来猜测这可能是“浣熊”。

总的来说，这就是一种更聪明的方式，让熊孩子能够在没有被直接训练识别某些东西的情况下，也能识别出这些东西来。

那这篇博客， 我就教大家使用 CLIP 搭建一个零样本的分类模型！不需要任何的训练就可以实现你的分类需求！

教程使用 huggingface 的 transformers 库来完成，这样方便我对整个专栏的代码教程进行维护，也方便我为大家分发模型（这种多模态的模型一般都很大，自己下载一次很麻烦，我会在博客中提供模型网盘地址）。

2. 模型原理图

论文地址：[paper] Learning Transferable Visual Models From Natural Language Supervision (arxiv.org)

论文摘要：最近，在大量数据上进行模型预训练的自然语言处理领域取得的突破为计算机视觉领域的类似基础模型铺平了道路。这些模型可以通过生成通用视觉特征（即，适用于不同图像分布和任务且无需微调的特征）来大大简化任何系统中图像的使用。本研究表明，如果在来自不同来源的足够多的策划数据上训练，现有的预训练方法，特别是自监督方法，可以产生这样的特征。我们重新审视现有方法，并结合不同技术来扩展我们的预训练，包括数据和模型规模方面。大部分技术贡献旨在加速和稳定大规模训练。在数据方面，我们提出了一个自动化管道，用于构建专用的、多样化的、策划的图像数据集，而不是像自监督文献中通常做的那样使用未策划的数据。在模型方面，我们训练了一个拥有10亿参数的ViT模型，并将其蒸馏成一系列较小的模型，这些模型在大多数图像和像素级基准测试中超过了现有最佳的通用特征，即OpenCLIP。

在这里插入图片描述

3. 环境配置

后续所有教程都使用conda环境，请大家自行配置好~

conda create --name huggingface-env python==3.8 -yconda activate huggingface-envpip install transformers

4. 代码实战

本次实战我们选择 openai 团队开源的 clip-vit-base-patch32 版本。借助 transformers 库 ，我们可以通过几行代码就完成一个零样本分类任务。

下载好我提供的模型后，修改以下两处就可以顺利运行代码:

  1. 将model路径和processor路径指定到你下载下来文件的位置。
  2. image_path路径换成本地图片路径。
# 导入Python图像库PIL和requests库
from PIL import Image
import requests# 导入transformers库中的CLIP处理器和CLIP模型
from transformers import CLIPProcessor, CLIPModel# 从预训练路径加载CLIP模型
model = CLIPModel.from_pretrained("/home/models/clip-vit-base-patch32")
# 从预训练路径加载CLIP处理器
processor = CLIPProcessor.from_pretrained("/home/models/clip-vit-base-patch32")# 设置一个图像的路径
image_path = "000000039769.jpg"
# 使用PIL的Image打开它
image = Image.open(image_path)# 使用处理器处理文本（这里有两个文本：猫和狗的照片）和图片，将它们转换为模型可以处理的格式
inputs = processor(text=["a photo of a cat", "a photo of a dog"], images=image, return_tensors="pt", padding=True)# 将处理好的输入数据传递给模型并得到输出
outputs = model(**inputs)
# 从输出中获取图像与文本之间的相似性分数
logits_per_image = outputs.logits_per_image 
# 使用softmax函数计算标签的概率
probs = logits_per_image.softmax(dim=1) 
# 打印出概率
print(probs)
# tensor([[0.9949, 0.0051]], grad_fn=<SoftmaxBackward0>)

模型地址：

链接：https://pan.baidu.com/s/1eg95QBmMOx9P0GvX-pshMg
提取码：hhze

小知识：

如果你够细心，你就会发现打印出来的概率后面有一个grad_fn标识。

grad_fn=<SoftmaxBackward0> 是一个表示该张量是通过某个操作产生的，并且这个操作在PyTorch的自动微分系统中具有可微性（即可以进行梯度反向传播）的标识。

  • tensor([[0.9949, 0.0051]]：这是一个包含概率值的张量。在这个例子中，它表示图片被模型识别为第一个类别（"a photo of a cat"）的概率是99.49%，识别为第二个类别（"a photo of a dog"）的概率是0.51%。
  • grad_fn：这是"gradient function"的缩写，意味着这个张量是作为一个计算结果产生的，而这个计算是可以进行梯度反向传播的。在这种情况下，<SoftmaxBackward0>是一个特定的梯度函数，它指的是这个张量是通过Softmax函数计算得到的，并且如果需要的话，可以通过这个函数来计算梯度。

我们这篇内容就是那模型进行推理，所以我们不需要关心这个grad_fn属性。

5. Gradio前端页面

每次都使用黑洞洞的终端推理图片是不是很无聊呢？下面为大家介绍一个工具，它可以快速的为算法实现一个前端页面，方便我们以图形化的方式推理图片。

5.1 什么是 Gradio ?

项目地址：gradio-app

文档地址：Gradio Interface Docs

Gradio 是一个开源库，旨在为机器学习模型提供快速且易于使用的网页界面。它允许开发者和研究人员轻松地为他们的模型创建交互式的演示，使得无论技术背景如何的人都可以方便地试用和理解这些模型。使用Gradio，你只需几行代码就可以生成一个网页应用程序，该应用程序可以接收输入（如图片、文本或音频等），并展示模型的输出。这对于测试、展示和获取模型反馈非常有用，特别是在协作、教育或研究的环境中。此外，它还提供了一系列用于增强用户体验的功能，如输入验证、自定义布局和分析工具，这些都使得Gradio成为机器学习领域中展示和共享模型的受欢迎工具。

安装方式很简单，一行指令搞定。

pip install gradio -i https://pypi.tuna.tsinghua.edu.cn/simple

下面是我基于这个库实现的 CLIP 零样本分类模型页面，同时为大家分别准备了一张猫一张狗的图片，以便大家能够更好地体验和使用这个工具。

请添加图片描述
请添加图片描述

import gradio as gr
from PIL import Image
from transformers import CLIPProcessor, CLIPModel
import torch
import requests# 从预训练的路径中加载CLIP模型和处理器
model = CLIPModel.from_pretrained("/home/models/clip-vit-base-patch32"
)
processor = CLIPProcessor.from_pretrained("/home/models/clip-vit-base-patch32"
)def classify_image_with_text(image, text):# 根据逗号分割输入文本，以处理多个标签labels = text.split(",")# 处理输入数据：将文本和图像转换为模型可以处理的格式inputs = processor(text=labels, images=image, return_tensors="pt", padding=True)# 获取模型的输出with torch.no_grad():outputs = model(**inputs)# 计算概率logits_per_image = outputs.logits_per_image  # 这是图像与文本之间的相似度分数probs = logits_per_image.softmax(dim=1).tolist()[0]  # 用softmax获取标签概率# 创建一个响应字典，用于输出每个标签的概率response = {label: prob for label, prob in zip(labels, probs)}return response# 创建Gradio界面
# fn指定了要运行的函数，inputs定义了输入类型，outputs定义了输出类型
iface = gr.Interface(fn=classify_image_with_text,inputs=[gr.Image(type="pil"), gr.Textbox(label="Text Input")],  # 图片和文本框输入outputs="json",  # 输出为JSON格式examples=[["https://gitee.com/diffiehellman/diffiehellman_personal_blog_gallery/raw/master/cdog.jpg","dog, cat, tigers, lions, elephants, pandas, giraffes",],["https://gitee.com/diffiehellman/diffiehellman_personal_blog_gallery/raw/master/ccat.jpg","dog, cat, tigers, lions, elephants, pandas, giraffes",],],title="CLIP零样本图像分类",description="上传一张图片获得json格式的零样本分类结果",
)# 启动界面
iface.launch()

6 进阶操作

在我们学习了如何使用 CLIP 之后，接下来我们将利用这些知识来实施一个小型项目。这个项目的目的是通过实际操作来加强大家对 Python 中一些常用库的熟悉程度。

这一次，我们的项目相对简单：我们将从一个包含猫和狗图片的混合文件夹中，使用我们学习的算法自动区分并归类这两种图片。

这个案例不仅是一个很好的机器学习入门项目，也是一个非常实用的技能，可以应用于各种图片分类任务，用来清洗个数据集什么的非常的方便~

算法步骤

  1. 加载模型：使用transformers库加载预训练的 CLIP 模型和处理器。
  2. 读取图片：使用 PIL 读取图片。
  3. 图像预处理：使用 CLIP 的处理器对图片进行预处理。
  4. 模型预测：对每张处理过的图片使用 CLIP 模型，获取其与“猫”和“狗”文本描述的相似度。
  5. 分类和保存：根据模型的预测将图片分类为猫或狗，并保存到相应的文件夹。

使用到的Python库

  • PIL（Python Imaging Library）：一个强大的图像处理库，可用于打开、操作和保存多种图像格式。
  • OS：用于与操作系统进行交互。它提供了丰富的方法来处理文件和文件夹。通过os库可以执行诸如创建、删除、移动文件和目录，以及获取文件属性等操作。
from PIL import Image
import requests
from transformers import CLIPProcessor, CLIPModel
import os# 加载预训练的CLIP模型和处理器
model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")# 定义读取图片的文件夹路径
folder_path = "/path/to/your/folder"# 定义保存分类后图片的路径
save_path_cats = "/path/to/save/cats"
save_path_dogs = "/path/to/save/dogs"# 读取文件夹中的所有图片文件
for filename in os.listdir(folder_path):if filename.endswith(".jpg") or filename.endswith(".png"):  # 检查文件格式# 打开图片image = Image.open(os.path.join(folder_path, filename))# 使用处理器处理图片和文本inputs = processor(text=["a photo of a cat", "a photo of a dog"], images=image, return_tensors="pt", padding=True)# 模型预测outputs = model(**inputs)probs = outputs.logits_per_image.softmax(dim=1)# 根据预测结果分类图片if probs[0, 0] > probs[0, 1]:  # 如果“猫”的概率高于“狗”image.save(os.path.join(save_path_cats, filename))  # 保存到猫的文件夹else:image.save(os.path.join(save_path_dogs, filename))  # 保存到狗的文件夹print("分类完成！")

7. 总结

这篇教程是我们系列文章的开篇之作。虽然内容相对简单，但我们实现的算法 CLIP 是一个在多模态领域极具影响力的模型。这个经典的模型不仅在本教程中发挥了重要作用，而且在后续的博客中，我们还将继续利用它来实施更多的有趣项目。

这个系列旨在逐步深入，让大家不仅了解算法的基础知识，还能学习如何将这些算法应用于实际的、有意义的项目中。每一篇教程都是精心设计的，以确保即使是初学者也能够跟上节奏，并逐步提升自己的技能。

我非常欢迎大家在评论区提出自己遇到的实际任务，或者对特定算法的疑问和讨论。

感谢大家的支持！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/337467.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Spring MVC配置全局异常处理器！！！

Spring MVC配置全局异常处理器！！！

为什么要使用全局异常处理器&#xff1a;如果不加以异常处理&#xff0c;错误信息肯定会抛在浏览器页面上&#xff0c;这样很不友好&#xff0c;所以必须进行异常处理。 异常处理思路 系统的dao、service、controller出现都通过throws Exception向上抛出&#xff0c;最后由sp…
阅读更多...
C# 验证文件共享模式下的多线程文件写入

C# 验证文件共享模式下的多线程文件写入

目录 写在前面 代码实现 调用示例 加锁的情况 不加锁的情况 总结 写在前面 原以为设置了文件共享模式为允许随后写入(FileShare.Write)&#xff0c;就可以实现多线程下的正常写入操作&#xff0c;实际情况是使用该模式后不会报线程独占问题&#xff0c;但是写入的内容是…
阅读更多...
软件测试|Python Selenium 库安装使用指南

软件测试|Python Selenium 库安装使用指南

简介 Selenium 是一个用于自动化浏览器操作的强大工具&#xff0c;它可以模拟用户在浏览器中的行为&#xff0c;例如点击、填写表单、导航等。在本指南中&#xff0c;我们将详细介绍如何安装和使用 Python 的 Selenium 库。 安装 Selenium 库 使用以下命令可以通过 pip 安装…
阅读更多...
性能分析与调优: Linux 文件系统观测工具

性能分析与调优: Linux 文件系统观测工具

目录 一、实验 1.环境 2.mount 3.free 4.top 5.vmstat 6.sar 7.slabtop 8.strace 9.opensnoop 10.filetop 11.cachestat 二、问题 1.Ftrace实例如何实现 2.Function trace 如何跟踪实例 3.function_graph Trace 如何跟踪实例 4.trace event 如何跟踪实例 5.未…
阅读更多...
共享wifi项目如何加盟？

共享wifi项目如何加盟？

共享wifi贴项目如何加盟呢&#xff1f;具体的途径在哪里&#xff0c;费用是多少呢&#xff1f;今天小编就来一次性同你讲清楚。 我们先来讲一下共享wifi贴的加盟方法。 首先&#xff0c;找到共享wifi的官方渠道在点击右上角&#xff0c;根据页面上的信息填写资料。 然后&…
阅读更多...
分享几款比较常用的接口测试工具

分享几款比较常用的接口测试工具

首先&#xff0c;什么是接口呢&#xff1f; 接口一般来说有两种&#xff0c;一种是程序内部的接口&#xff0c;一种是系统对外的接口。 系统对外的接口&#xff1a;比如你要从别的网站或服务器上获取资源或信息&#xff0c;别人肯定不会把数据库共享给你&#xff0c;他只能给你…
阅读更多...
MongoDB多文档事务详解

MongoDB多文档事务详解

事务简介 事务&#xff08;transaction&#xff09;是传统数据库所具备的一项基本能力&#xff0c;其根本目的是为数据的可靠性与一致性提供保障。而在通常的实现中&#xff0c;事务包含了一个系列的数据库读写操作&#xff0c;这些操作要么全部完成&#xff0c;要么全部撤销。…
阅读更多...
04- OpenCV：Mat对象简介和使用

04- OpenCV：Mat对象简介和使用

目录 1、Mat对象与IplImage对象 2、Mat对象使用 3、Mat定义数组 4、相关的代码演示 1、Mat对象与IplImage对象 先看看Mat对象&#xff1a;图片在计算机眼里都是一个二维数组&#xff1b; 在OpenCV中&#xff0c;Mat是一个非常重要的类&#xff0c;用于表示图像或矩阵数据。…
阅读更多...
如何使用 NFTScan NFT API 在 PlatON 网络上开发 Web3 应用

如何使用 NFTScan NFT API 在 PlatON 网络上开发 Web3 应用

PlatON 是由万向区块链和矩阵元主导开发的面向下一代的全球计算架构&#xff0c;创新性的采用元计算框架 Monad 和基于 Reload 覆盖网络的同构多链架构&#xff0c;其愿景是成为全球首个提供完备隐私保护能力的运营服务网络。它提供计算、存储、通讯服务&#xff0c;并提供算力…
阅读更多...
使用 Cypress 进行可视化回归测试：一种务实的方法

使用 Cypress 进行可视化回归测试：一种务实的方法

每次组件库 Picasso 发布新版本时&#xff0c;都会更新所有的前端应用程序&#xff0c;让绝大部分新功能能与整个平台的设计保持一致。上个月&#xff0c;推出了 Toptal Talent Portal 的 Picasso 更新&#xff0c;这是我们的用户用来找工作和与客户互动的平台。 已知了这个版本…
阅读更多...
搜维尔科技：【简报】元宇宙数字人赛道，2022年金奖《金魚姬》赏析！

搜维尔科技：【简报】元宇宙数字人赛道，2022年金奖《金魚姬》赏析！

一名网络直播主名叫琉璃&#xff0c;在即将展开她日常进行的每日准时直播前&#xff0c;肚子极为不舒服&#xff0c;突然很想上厕所&#xff0c;由于时间紧迫&#xff0c;导致琉璃需要在厕所里面完成直播&#xff01;为了掩饰自己所在的处境&#xff0c;她决定运用自己设计的虚…
阅读更多...
Python基础教程——用Python处理Excel！

Python基础教程——用Python处理Excel！

Excel是一种常见的电子表格文件格式&#xff0c;广泛用于数据记录和处理。Python提供了多个第三方库&#xff0c;可以方便地对Excel文件进行读写、数据操作和处理。本文将介绍如何使用Python对Excel文件进行处理&#xff0c;并提供相应的代码示例和详细说明。 一、安装第三方库…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023