YOLOv5模型压缩:综述

YOLOv5模型压缩:综述

  • Abstract
  • Introduction
  • 剪枝
    • 基于ln-范数修剪模型
    • Feature map activation
    • Batch normalization scaling factor (BNSF)
    • First-order derivative
    • Mutual information
    • Granularity of Pruning
      • 非结构化剪枝
      • 结构化剪枝
        • 基于通道的修剪
        • 基于滤波器的修剪
        • 基于核的剪枝
    • 关于剪枝的最新研究
  • 量化
    • 量化区间:均匀或非均匀
    • 量化方案:QAT PTQ
    • 量化部署方案
    • 量化YOLOv5的最新研究
  • 结论
  • 剪枝挑战与未来方向
  • 量化的挑战与未来

论文地址:https://arxiv.org/abs/2307.11904
文章末尾有相关论文链接~

Abstract

近年来,研究人员一直 致力于改进YOLO目标检测器。自其问世以来,已经推出了八个主要版本的YOLO,旨在提高其准确性和效率,尽管YOLO的明显优点使其在许多领域得到了广泛应用,但是资源有限的设备上部署他存在挑战。为了解决这个问题,开发了各种神经网络压缩方法,主要分为:网络剪枝、量化和知识蒸馏三大类
利用模型压缩方法的丰硕成果,如降低内存使用和推理时间等,使他们成为在硬件受限的边缘设备上部署大型神经网络时受到亲耐,甚至可以说是必要的方法。
通过这样做,我们识别出在适应YOLOv5的剪枝和量化压缩中存在的差距,并提供这一领域进一步探索的未来方向。在几个版本的YOLO中,我们特别选择了YOLOv5,因为他在文献中具有较新和较高的流行度的优秀权衡。

Introduction

作为一个基本问题,目标检测多年来一直是一个活跃的研究领域。目标检测 的主要目标是在给定的图像中识别和定位不同类别的感兴趣对象。目标检测是许多其他高级计算机视觉任务的基础,从语义分割到目标跟踪到活动识别,近年来,基于深度学习的方法,如卷积神经网络,在目标检测任务中取得了最先进的性能。由于计算能力和尖端算法的进步,目标检测变得更加准确,能够应用于广泛的实际应用。
在这里插入图片描述
与传统目标检测方法相比,使用CNNs可以减轻目标检测中特征提取、分类和定位的问题。通常,目标检测可以通过两种方法进行,即单阶段双阶段。在前者中,算法直接预测对象的边界框和类别概率,而在后者中,算法首先生成一组区域建议,然后将这些建议分类为对象或背景。不同于Faster R-CNN [6]和R-FCN [12]作为双阶段目标检测方法,如YOLO [5]、SSD [13]、 EfficientDet [14]和RetinaNet [15]等单阶段方法通常使用一个全卷积神经网络(FCN)来检测对象的类 别和空间位置,而不需要中间步骤。
在不同的单阶段目标检测方法中,自2016年发布以来,YOLO一直受到了广泛关注。YOLO的主 要思想是将输入图像划分为一个网格单元,并针对每个单元预测边界框和类别概率。YOLO将目标检 测视为回归问题。此外,由于它使用单个神经网络进行目标检测和分类,因此可以同时优化这两个任 务,从而提高整体的检测性能。YOLOv1采用了一个简单的结构,其中包含24个卷积层和两个全连接 层,用于生成概率和坐标 [5]。
自发布以来,YOLO已经经历了多个改进和变体。2017年,YOLOv2(也称为YOLO9000)发布, 通过使用多尺度训练,锚点框,批归一化,Darknet-19架构和改进的损失函数等方式改进了性能 [16]。 其后,Redmon和Farhadi介绍了YOLOv3,它采用了特征金字塔网络,带锚点框的卷积层,空间金字 塔池化(SPP)块,Darknet-53架构和改进的损失函数 [17]。与之前的版本不同,YOLOv4由不同的 作者引入。A. Bochkovskiy等人利用CSPDarknet53架构,Bag-of-Freebies,Bag-of-Specials,mish激活函 数,Weighted-Residual-Connections(WRC),Spatial Pyramid Pooling(SPP)和Path Aggregation Network
(PAN)提高了YOLO的性能[18]。
2020年,Ultralytics推出YOLOv5,提供了五种不同大小的版本

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/94667.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

在访问一个网页时弹出的浏览器窗口,如何用selenium 网页自动化解决?

相信大家在使用selenium做网页自动化时,会遇到如下这样的一个场景: 在你使用get访问某一个网址时,会在页面中弹出如上图所示的弹出框。 首先想到是利用Alert类来处理它。 然而,很不幸,Alert类处理的结果就是没有结果…

2021年12月 C/C++(六级)真题解析#中国电子学会#全国青少年软件编程等级考试

C/C++编程(1~8级)全部真题・点这里 第1题:电话号码 给你一些电话号码,请判断它们是否是一致的,即是否有某个电话是另一个电话的前缀。比如: Emergency 911 Alice 97 625 999 Bob 91 12 54 26 在这个例子中,我们不可能拨通Bob的电话,因为Emergency的电话是它的前缀,当拨…

【Spring Boot】通过AOP拦截Spring Boot日志并将其存入数据库

文章目录 前言摘要AOP介绍AOP的实现添加依赖配置数据库连接定义日志实体类定义日志拦截器使用AOP拦截日志并保存到数据库中 代码方法介绍测试用例全文小结 前言 在软件开发中,常常需要记录系统运行时的日志。日志记录有助于排查系统问题、优化系统性能、监控操作行…

git 查看当前分支最近一次提交的commit SHA

获取当前分支最近一次commit SHA (长度为40个16进制数字的字符)命令如下: git rev-parse HEAD 获取简写(短) commit SHA git rev-parse --short HEAD

基于HarmonyOS ArkUI实现七夕壁纸轮播

七夕情人节,为了Ta,你打算用什么方式表达爱?是包包、鲜花、美酒、巧克力,还是一封充满爱意的短信?作为程序员,以代码之名,表达爱。本节将演示如何在基于HarmonyOS ArkUI的SwiperController、Ima…

VSCode之C++ CUDA极简环境配置

背景 想要了解CUDA并行计算原理,同时针对深度学习中出现一些“不支持算子”可能需要手写的需要,配置一个简单的CUDA编译环境,探索CUDA编程的范式【注:CUDA环境配置略】。结果展示 示例代码 #include "cuda_runtime.h" …

酷克数据与华为合作更进一步 携手推出云数仓联合解决方案

在一起,共迎新机遇!8月25-26日,2023华为数据存储用户精英论坛在西宁召开。酷克数据作为国内云原生数据仓库的代表企业,也是华为重要的生态合作伙伴,受邀参与本次论坛,并展示了云数仓领域最新前沿技术以及联…

网络防火墙与入侵检测系统(IDS/IPS):深入研究现代防火墙和IDS/IPS技术,提供配置和管理建议

第一章:引言 随着信息技术的飞速发展,网络安全的重要性日益凸显。在这个充满威胁的数字时代,网络防火墙和入侵检测系统(IDS/IPS)成为保护企业和个人免受网络攻击的关键工具。本文将深入研究现代防火墙和IDS/IPS技术&a…

什么是 Web 应用程序安全测试?

Web 应用程序安全测试是一种严格的实践,旨在识别、分析和纠正基于 Web 的应用程序中的漏洞。 此过程涉及使用一套全面的工具和方法来评估 Web 应用程序的安全性和完整性。它包括渗透测试、漏洞评估和代码审查等实践。 Web 应用程序安全测试的主要目标是阻止潜在的…

EI、Scopus双检索| 2023年第四届自动化、机械与设计工程国际会议

会议简介 Brief Introduction 2023年第四届自动化、机械与设计工程国际会议(SAMDE 2023) 会议时间:2023年12月8 -10日 召开地点:中国南京 大会官网:www.samde.org 机械设计制造及其自动化学科在国民经济中处于极其重要…

Super Resolve Dynamic Scene from Continuous Spike Streams论文笔记

摘要 近期,脉冲相机在记录高动态场景中展示了其优越的潜力。不像传统相机将一个曝光时间内的视觉信息进行压缩成像,脉冲相机连续地输出二的脉冲流来记录动态场景,因此拥有极高的时间分辨率。而现有的脉冲相机重建方法主要集中在重建和脉冲相…

【云计算•云原生】5.云原生之初识DevOps

文章目录 1.DevOps背景2.DevOps概念3.DevOps工具链 1.DevOps背景 软件开发必须包含两个团队:开发团队和运维团队 开发团队负责开发项目,系统迭代更新运维团队负责项目测试以及部署上线,维持系统稳定运行 一个软件周期中是由这两个团队相互…