深度学习之微调

 在现代深度学习领域,精细调整(Fine-tune)已经成为一种非常重要的技术手段。

 预训练模型

在介绍finetune之前,先了解一下什么是预训练模型。在搭建一个网络模型来完成一个特定的图像分类的任务时,首先,需要随机初始化参数,然后开始训练网络,不断调整直到网络的损失越来越小。在训练的过程中,一开始初始化的参数会不断变化。当结果很满意的时候,就可以将训练模型的参数保存下来,以便训练好的模型可以在下次执行类似任务时获得较好的结果。这个过程就是pre-training

之后接收到一个类似的图像分类任务。这时候,就可以直接使用之前保存下来的模型的参数作为这一任务的初始化参数,然后在训练的过程中,依据结果不断进行一些修改。这时候使用的就是一个pre-training/trained 模型,而过程就是fine-tuning

所以,预训练就是指预先训练的一个模型或者指预先训练模型的过程;微调就是指将预训练模型作用于自己的数据集,并使参数适应自己数据集的过程。

微调的概念

为什么使用微调?首先要了解卷积网络的核心是:

1. 浅层卷积提取基础特征,比如边缘,轮廓等;
2. 深层卷积提取抽象特征,比如整个脸型;
3. 全连接层根据特征组合进行评分分类。

而预训练模型的特点是:使用大型数据集进行训练,具备提取浅层基础特征和深层抽象特征的能力。使用微调不仅可以有效避免从头开始训练,浪费时间和资源的问题,而且可以一定程度上解决模型泛化能力低的问题。

使用微调的场合

什么情况下使用微调呢?

首先,使用的数据集与预训练模型的数据集相似,如果不太相似,比如使用的预训练模型是自然场景下的图片训练的,而目标任务是人脸识别,效果可能就没有那么好了。因为人脸的特征和自然景物的特征提取是不同的,所以相应的参数训练后也是不同的。

其次当使用自己搭建的CNN模型准确率太低的时候也可以考虑使用微调。

在实践中更常用的是,对于拥有较小的数据集,只需对那些经过大型数据集训练过的预训练模型结构进行微调,就可以达到快速训练模型的效果。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/133271.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

HSN:微调预训练ViT用于目标检测和语义分割,华南理工和阿里巴巴联合提出

今天跟大家分享华南理工大学和阿里巴巴联合提出的将ViT模型用于下游任务的高效微调方法HSN,该方法在迁移学习、目标检测、实例分割、语义分割等多个下游任务中表现优秀,性能接近甚至在某些任务上超越全参数微调。 论文标题:Hierarchical Side…

培训考试系统如何满足个性化学习需求?

随着科技的不断发展,培训考试系统逐渐成为满足个性化学习需求的重要工具。个性化学习强调根据每个学员的特点和需求,量身定制学习内容和方式,提高学习效果和学习兴趣。 培训考试系统通过个性化内容推荐满足学员的学习需求。系统会根据学员的…

应用在汽车发动机温度检测中的高精度温度传感芯片

汽车发动机是为汽车提供动力的装置,是汽车的心脏,决定着汽车的动力性、经济性、稳定性和环保性。根据动力来源不同,汽车发动机可分为柴油发动机、汽油发动机、电动汽车电动机以及混合动力等。 常见的车用温度传感器有进气温度传感器、变速器…

4.springcloudalibaba sentinel v1.8.6版本服务搭建

文章目录 前言一、sentinel服务端安装1.1 服务端下载1.2 启动sentinel服务 二、客户端使用sentinel2.1.pom增加sentinel包2.2 增加配置2.3 启动服务 三、验证3.1 给hello接口增加流控规则3.2 测试结果如下 总结 前言 前面完成了gateway项目部署并且测试,现在部署搭…

【ElasticSearch】深入探索 DSL 查询语法,实现对文档不同程度的检索,以及对搜索结果的排序、分页和高亮操作

文章目录 前言一、Elasticsearch DSL Query 的分类二、全文检索查询2.1 match 查询2.2 multi_match 查询 三、精确查询3.1 term 查询3.2 range 查询 四、地理坐标查询4.1 geo_bounding_box 查询4.2 geo_distance 查询 五、复合查询5.1 function score 查询5.2 boolean 查询 六、…

199、在RabbitMQ管理控制台中管理 Exchange(充当消息交换机的组件) 和 Queue(消息队列),以及对默认Exchange的讲解

目录 ★ 自动创建的Exchange★ 创建Exchange所支持的属性演示:创建消息队列 ★ 持久化消息★ 默认Exchange讲解 使用默认的 Exchange 支持 P2P: Exchange:把客户端发来的消息路由到消息队列去 每个虚拟机下面都默认有 Exchange ,通过这个默认…

解决jmeter软件显示为英文、返回数据乱码、设置编码格式的问题

一.jmeter软件每次打开都需要手动切换中文 1.修改配置文件,可以把jmeter设置成中文: 2.打开jmeter.properties配置文件,修改languagezh_CN 二.返回数据乱码 改配置文件 进入Jmeter的bin目录下,找到jmeter.properties文件&#…

Docker-harbor私有仓库部署与管理

搭建本地私有仓库 #首先下载 registry 镜像 docker pull registry #在 daemon.json 文件中添加私有镜像仓库地址 vim /etc/docker/daemon.json { "insecure-registries": ["20.0.0.50:5000"], #添加,注意用逗号结…

【数据库系统概论】SQL是什么?它有什么特点?

SQL是什么SQL的特点SQL的基本概念感谢 💖 SQL是什么 SQL(Structured Query Language)即结构化查询语句,是关系数据库的标准语言。它的功能不仅仅是查询,而是包括数据库模式创建、数据库数据的插入和修改、数据库安全性…

Redis实现简易消息队列的三种方式

Redis实现简易消息队列的三种方式 消息队列简介 消息队列是一种用于在计算机系统中传递和处理数据的重要工具。如果你完全不了解消息队列,不用担心,我将尽力以简单明了的方式来解释它。 首先,想象一下你正在玩一个游戏,而游戏中…

和鲸 ModelWhale 与华为 OceanStor 2910 计算型存储完成兼容性测试

数智化时代,数据总量的爆炸性增长伴随着人工智能、云计算等技术的发展,加速催化了公众对于数据存储与应用的多元化需求。同时,数据也是重要的基础资源和战略资源,需要严格保障其安全性、完整性。搭建国产数据基础设施底座&#xf…

Ansible概述以及模块

目录 一、Ansible概述 1、Ansible是什么 2、Ansible的作用 3、Ansible的特性 4、Ansible的工作机制 5、Ansible的特点 二、Ansible安装部署 1、管理端安装ansible 2、配置主机清单 3、配置密钥对验证 三、Absible命令行模块 1、command模块 2、shell模块 3、cron …