CIFAR-100数据集的加载和预处理教程

一、CIFAR-100数据集介绍

CIFAR-100（Canadian Institute for Advanced Research - 100 classes）是一个经典的图像分类数据集，用于计算机视觉领域的研究和算法测试。它是CIFAR-10数据集的扩展版本，包含了更多的类别，用于更具挑战性的任务。

CIFAR-100包含了100个不同的类别，每个类别都包含600张32x32像素的彩色图像。

这100个类别被划分为20个大类别，每个大类别包含5个小类别。这个层次结构使得数据集更加丰富，包含了各种各样的对象和场景。每张图像的大小是32x32像素，包含RGB三个通道。

用途： CIFAR-100常被用于评估图像分类算法的性能。由于图像分辨率相对较低，它在实际中可能不太适用于一些复杂的计算机视觉任务，但对于学术研究和算法开发而言是一个常见的基准数据集。

二、下载并加载CIFAR-100数据集

import torch
from torch.utils.data import Dataset,DataLoader
import torchvision
import torchvision.transforms as transformsdef get_train_loader(mean, std, batch_size=16, num_workers=2, shuffle=True):transform_train = transforms.Compose([transforms.RandomCrop(32, padding=4),transforms.RandomHorizontalFlip(),transforms.RandomRotation(15),transforms.ToTensor(),transforms.Normalize(mean, std)])cifar100_training = torchvision.datasets.CIFAR100(root='./data', train=True, download=True,transform=transform_train)cifar100_training_loader = DataLoader(cifar100_training, shuffle=shuffle, num_workers=num_workers, batch_size=batch_size)return cifar100_training_loaderdef get_val_loader(mean, std, batch_size=16, num_workers=2, shuffle=True):transform_test = transforms.Compose([transforms.ToTensor(),transforms.Normalize(mean, std)])cifar100_test = torchvision.datasets.CIFAR100(root='./data', train=False, download=True, transform=transform_test)cifar100_test_loader = DataLoader(cifar100_test, shuffle=shuffle, num_workers=num_workers, batch_size=batch_size)return cifar100_test_loader

这里我们采用的是torchvision下载CIFAR-100数据集并将其保存到指定的路径，定义这两个函数 get_train_loader 和 get_val_loader 分别用于获取训练集和验证集的数据加载器，并进行了预处理和增强的操作。

三、检测数据加载情况

博主曾经在这上面吃过很多的亏，一般我们遇到维度不匹配的情况，通常会认为是网络的问题，但我会告诉你也有可能是数据加载的部分，这种开源数据集还好，我们项目上用的是自制的数据集，它的图片可能真的就是有些问题，比如你明明是用PIL加载图片，按理来说应该就是三通道无疑才对，但事实是就是存在通道为1的情况。

所以，为了让我们具备严谨的工程能力，为将来自己的项目打下基础，哪怕是开源数据集，我们也要进行测试。

一般来说，主要看到就是它的维度是否是正确的，还有它是否能够正确的显示。

在上面我们进行预处理操作，所以应该先进行反归一化：

def denormalize(tensor, mean, std):"""反归一化操作，将归一化后的张量转换回原始范围."""if not torch.is_tensor(tensor):raise TypeError("Input should be a torch tensor.")for t, m, s in zip(tensor, mean, std):t.mul_(s).add_(m)return tensor

而要看如何正常的显示，我们当然不希望单张的显示，这样似乎太慢了，所以这里我们按照批量大小进行显示：

def show_batch(images, labels):import matplotlibmatplotlib.use('TkAgg')images = denormalize(images, mean, std)img_grid = make_grid(images, nrow=4, padding=10, normalize=True)plt.imshow(img_grid.permute(1, 2, 0))plt.title(f"Labels: {labels}")plt.show()

测试代码：

if __name__=="__main__":import matplotlib.pyplot as pltfrom torchvision.utils import make_gridCIFAR100_TRAIN_MEAN = (0.5070751592371323, 0.48654887331495095, 0.4409178433670343)CIFAR100_TRAIN_STD = (0.2673342858792401, 0.2564384629170883, 0.27615047132568404)def denormalize(tensor, mean, std):"""反归一化操作，将归一化后的张量转换回原始范围."""if not torch.is_tensor(tensor):raise TypeError("Input should be a torch tensor.")for t, m, s in zip(tensor, mean, std):t.mul_(s).add_(m)return tensormean = CIFAR100_TRAIN_MEANstd = CIFAR100_TRAIN_STDtest_loader = get_val_loader(mean, std, batch_size=16, num_workers=2, shuffle=False)def show_batch(images, labels):import matplotlibmatplotlib.use('TkAgg')images = denormalize(images, mean, std)img_grid = make_grid(images, nrow=4, padding=10, normalize=True)plt.imshow(img_grid.permute(1, 2, 0))plt.title(f"Labels: {labels}")plt.show()for images, labels in test_loader:show_batch(images, labels)# print(images.size(), labels)

最后两行就是图片批量显示与维度检测的测试，这里最好是单独的测试，即两行中一行注释，一行正常运行。

四、自定义CIFAR-100的dataset类

dataset类的以下几个要点：

  • dataset类需要继承import torch.utils.data.dataset。
  • dataset的作用是将任意格式的数据，通过读取、预处理或数据增强后以tensor的形式输出。其中任意格式的数据指可能是以文件夹名作为类别的形式、或以txt文件存储图片地址的形式。而输出则指的是经过处理后的一个 batch的tensor格式数据和对应标签。
  • dataset类需要重写的主要有三个函数要完成：__init__函数、__len__函数和__getitem__函数。

  1. __init__(self, ...) 函数：初始化数据集。在这里，你通常会加载数据，设置转换（transformations）等。这个函数在数据集创建时调用。

  2. __len__(self)函数：返回数据集的大小，即数据集中样本的数量。这个函数在调用len(dataset) 时调用。

  3. __getitem__(self,index)函数：根据给定的索引返回数据集中的一个样本。这个函数允许你通过索引访问数据集中的单个样本，以便用于模型的训练和评估。

import os
import pickle
import numpy as npfrom torch.utils.data import Dataset,DataLoaderclass CIFAR100Dataset(Dataset):def __init__(self, path, transform=None, train=False):if train:sub_path = 'train'else:sub_path = 'test'with open(os.path.join(path, sub_path), 'rb') as cifar100:self.data = pickle.load(cifar100, encoding='bytes')self.transform = transformdef __len__(self):return len(self.data['fine_labels'.encode()])def __getitem__(self, index):label = self.data['fine_labels'.encode()][index]r = self.data['data'.encode()][index, :1024].reshape(32, 32)g = self.data['data'.encode()][index, 1024:2048].reshape(32, 32)b = self.data['data'.encode()][index, 2048:].reshape(32, 32)image = np.dstack((r, g, b))if self.transform:image = self.transform(image)return image, label

测试代码：

if __name__=="__main__":mean = CIFAR100_TRAIN_MEANstd = CIFAR100_TRAIN_STDtransform_train = transforms.Compose([transforms.ToPILImage(),transforms.RandomCrop(32, padding=4),transforms.RandomHorizontalFlip(),transforms.RandomRotation(15),transforms.ToTensor(),transforms.Normalize(mean, std)])train_dataset = CIFAR100Dataset(path='./data/cifar-100-python', transform=transform_train)train_loader = DataLoader(train_dataset, batch_size=16, shuffle=True)for images, labels in train_loader:show_batch(images, labels)# print(images.size(), labels)

附录

本章节源码

import torch
from torch.utils.data import Dataset,DataLoader
import torchvision
import torchvision.transforms as transforms
import matplotlib.pyplot as plt
from torchvision.utils import make_grid
import os
import pickle
import numpy as npCIFAR100_TRAIN_MEAN = (0.5070751592371323, 0.48654887331495095, 0.4409178433670343)
CIFAR100_TRAIN_STD = (0.2673342858792401, 0.2564384629170883, 0.27615047132568404)__all__ = ["get_train_loader", "get_val_loader", "CIFAR100Dataset"]class CIFAR100Dataset(Dataset):def __init__(self, path, transform=None, train=False):if train:sub_path = 'train'else:sub_path = 'test'with open(os.path.join(path, sub_path), 'rb') as cifar100:self.data = pickle.load(cifar100, encoding='bytes')self.transform = transformdef __len__(self):return len(self.data['fine_labels'.encode()])def __getitem__(self, index):label = self.data['fine_labels'.encode()][index]r = self.data['data'.encode()][index, :1024].reshape(32, 32)g = self.data['data'.encode()][index, 1024:2048].reshape(32, 32)b = self.data['data'.encode()][index, 2048:].reshape(32, 32)image = np.dstack((r, g, b))if self.transform:image = self.transform(image)return image, labelclass CIFAR100Test(Dataset):def __init__(self, path, transform=None):with open(os.path.join(path, 'test'), 'rb') as cifar100:self.data = pickle.load(cifar100, encoding='bytes')self.transform = transformdef __len__(self):return len(self.data['data'.encode()])def __getitem__(self, index):label = self.data['fine_labels'.encode()][index]r = self.data['data'.encode()][index, :1024].reshape(32, 32)g = self.data['data'.encode()][index, 1024:2048].reshape(32, 32)b = self.data['data'.encode()][index, 2048:].reshape(32, 32)image = np.dstack((r, g, b))if self.transform:image = self.transform(image)return image, labeldef get_train_loader(mean, std, batch_size=16, num_workers=2, shuffle=True):transform_train = transforms.Compose([transforms.RandomCrop(32, padding=4),transforms.RandomHorizontalFlip(),transforms.RandomRotation(15),transforms.ToTensor(),transforms.Normalize(mean, std)])cifar100_training = torchvision.datasets.CIFAR100(root='./data', train=True, download=True,transform=transform_train)cifar100_training_loader = DataLoader(cifar100_training, shuffle=shuffle, num_workers=num_workers, batch_size=batch_size)return cifar100_training_loaderdef get_val_loader(mean, std, batch_size=16, num_workers=2, shuffle=True):transform_test = transforms.Compose([transforms.ToTensor(),transforms.Normalize(mean, std)])cifar100_test = torchvision.datasets.CIFAR100(root='./data', train=False, download=True, transform=transform_test)cifar100_test_loader = DataLoader(cifar100_test, shuffle=shuffle, num_workers=num_workers, batch_size=batch_size)return cifar100_test_loaderdef show_batch(images, labels):import matplotlibmatplotlib.use('TkAgg')images = denormalize(images, CIFAR100_TRAIN_MEAN, CIFAR100_TRAIN_STD)img_grid = make_grid(images, nrow=4, padding=10, normalize=True)plt.imshow(img_grid.permute(1, 2, 0))plt.title(f"Labels: {labels}")plt.show()def denormalize(tensor, mean, std):"""反归一化操作，将归一化后的张量转换回原始范围."""if not torch.is_tensor(tensor):raise TypeError("Input should be a torch tensor.")for t, m, s in zip(tensor, mean, std):t.mul_(s).add_(m)return tensordef main1():test_loader = get_val_loader(CIFAR100_TRAIN_MEAN, CIFAR100_TRAIN_STD, batch_size=16, num_workers=2, shuffle=False)for images, labels in test_loader:show_batch(images, labels)# print(images.size(), labels)if __name__=="__main__":transform_train = transforms.Compose([transforms.ToPILImage(),transforms.RandomCrop(32, padding=4),transforms.RandomHorizontalFlip(),transforms.RandomRotation(15),transforms.ToTensor(),transforms.Normalize(CIFAR100_TRAIN_MEAN, CIFAR100_TRAIN_STD)])train_dataset = CIFAR100Dataset(path='./data/cifar-100-python', transform=transform_train)train_loader = DataLoader(train_dataset, batch_size=16, shuffle=True)for images, labels in train_loader:show_batch(images, labels)# print(images.size(), labels)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/168763.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

VirtualBox网络地址转换(NAT)，宿主机无法访问虚拟机的问题

VirtualBox网络地址转换(NAT)，宿主机无法访问虚拟机的问题

问题：NAT模式下，默认只能从内访问外面，而不能从外部访问里面，所以只能单向ping通，虚拟机的ip只是内部ip。 PS：桥接则是与主机公用网卡，有独立的外部ip。 解决：NAT模式可以通过配置 …
阅读更多...
区块链探秘：从基础到深度，全面解读区块链技术与应用

区块链探秘：从基础到深度，全面解读区块链技术与应用

1.区块链基本概念 1.发展历史 比特币诞生： 2008年，化名为中本聪的人发表了论文《Bitcoin：A Peer-to-Peer Electronic Cash System》 2009年1月3日，中本聪开发运行了比特币客户端程序并进行了首次挖矿，获得了第一批…
阅读更多...
Android---屏幕适配的处理技巧

Android---屏幕适配的处理技巧

在几年前，屏幕适配一直是困扰 Android 开发工程师的一大问题。但是随着近几年各种屏幕适配方案的诞生，以及谷歌各种适配控件的推出，屏幕适配也显得越来越容易。下面，我们就来总结一下关于屏幕适配的那些技巧。 ConstraintLayout …
阅读更多...
[PHP]Kodexplorer可道云 v4.47

[PHP]Kodexplorer可道云 v4.47

KodExplorer可道云，原名芒果云，是基于Web技术的私有云和在线文件管理系统，由上海岱牧网络有限公司开发，发布于2012年6月。致力于为用户提供安全可控、可靠易用、高扩展性的私有云解决方案。 用户只需通过简单环境搭建，…
阅读更多...
OpenWRT配置SFTP远程文件传输，让数据分享更安全

OpenWRT配置SFTP远程文件传输，让数据分享更安全

文章目录 前言 1. openssh-sftp-server 安装2. 安装cpolar工具3.配置SFTP远程访问4.固定远程连接地址 前言 本次教程我们将在OpenWRT上安装SFTP服务，并结合cpolar内网穿透，创建安全隧道映射22端口，实现在公网环境下远程OpenWRT SFTP&#xf…
阅读更多...
WebSocket是什么以及其与HTTP的区别

WebSocket是什么以及其与HTTP的区别

新钛云服已累计为您分享774篇技术干货 HTTP协议 HTTP是单向的，客户端发送请求，服务器发送响应。举个例子，当用户向服务器发送请求时，该请求采用HTTP或HTTPS的形式，在接收到请求后，服务器将响应发送给客户端…
阅读更多...
Linux技能篇-yum源搭建（本地源和公网源）

Linux技能篇-yum源搭建（本地源和公网源）

文章目录 前言一、yum源是什么？二、使用镜像搭建本地yum源1.搭建临时仓库第一步：挂载系统ios镜像到虚拟机第二步：在操作系统中挂载镜像第三步：修改yum源配置文件 2.搭建本地仓库第一步：搭建临时yum源来安装httpd并做文…
阅读更多...
Spark的执行计划

Spark的执行计划

Spark 3.0 大版本发布，Spark SQL 的优化占比将近 50%。Spark SQL 取代 Spark Core，成为新一代的引擎内核，所有其他子框架如 Mllib、Streaming 和 Graph，都可以共享 Spark SQL 的性能优化，都能从 Spark 社区对于 Spark …
阅读更多...
asp.net学生宿舍管理系统VS开发sqlserver数据库web结构c#编程Microsoft Visual Studio

asp.net学生宿舍管理系统VS开发sqlserver数据库web结构c#编程Microsoft Visual Studio

一、源码特点 asp.net 学生宿舍管理系统是一套完善的web设计管理系统，系统具有完整的源代码和数据库，系统主要采用B/S模式开发。开发环境为vs2010，数据库为sqlserver2008，使用c#语言 开发 asp.net学生宿舍管理系统1 应用技…
阅读更多...
junit写搜索树测试

junit写搜索树测试

用法 assertTrue(range.contains("Two")); 2个参数,右边错就打印左边. AbstractSelfBalancingBinarySearchTree abt; AbstractBinarySearchTree.Node node; Before public void setUp() { abt new AbstractSelfBalancingBinarySearchTree() { Override protecte…
阅读更多...
Goland报错：Cannot resolve symbol ‘XXX‘。一键解决该问题。

Goland报错：Cannot resolve symbol ‘XXX‘。一键解决该问题。

Goland报错：Cannot resolve symbol XXX。一键解决该问题。 问题是：Cannot resolve symbol XXX解决方法是： 问题是：Cannot resolve symbol ‘XXX’ 问题的背景： 我写了两个包，分别是main 、utils包。main包…
阅读更多...
JAVA集合学习

JAVA集合学习

一、结构 List和Set继承了Collection接口，Collection继承了Iterable Object类是所有类的根类，包括集合类，集合类中的元素通常是对象，继承了Object类中的一些基本方法，例如toString()、equals()、hashCode()。 Collect…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023