域自适应

news/2025/3/16 12:17:15/文章来源:https://www.cnblogs.com/xiaozhouduhe/p/18774650

信息时代产生的大量数据使机器学习技术成功地应用在许多领域。大多数机器学习技术需要满足训练集与测试集独立同分布的假设,但在实际应用中这个假设很难满足。 域适应是一种在训练集和测试集不满足独立同分布条件下的机器学习技术。一般情况下的域适应只适用于源域目标域特征空间与标签空间都相同的情况,然而实际上这个条件很难满足。

为了增强域适应技术的适应性,复杂情况下的域适应逐渐成为研究热点,其中标签空间不一致复杂目标域情况下的域适应技术是近年来的新兴方法。

机器学习已经在许多领域中成功应用,但是手机并标注与测试集具有相同分布的样本代价是高昂的。当训练集和测试集的分布存在差异时,由训练集得到的模型不能再测试集上取得良好的预测结果。迁移学习就是解决训练集(源域)与测试集(目标域)之间存在分布差异的机器学习方法,其核心是找到源域和目标域之间的相似性,利用相似性将在源域中获得的知识应用于目标域

迁移学习按照问题的背景设置可以划分为两类,第一类是源域目标域标签空间和特征空间都相同的域适应,即一般情况下的域适应,第二类是复杂情况下的域适应,其包含多个子方向,如标签空间不一致的域适应,复杂目标域情况下的域适应等。一般情况下的域适应问题是背条件约束更严格的迁移学习问题。复杂情况下的域适应问题可以通过对一般情况下的域适应方法改进加以解决。域适应问题是迁移学习中的研究重点,是迁移学习的基本问题。

深度学习算法从大规模数据中提取知识,其性能显著超越传统机器学习方法。深度学习取得优异性能的原因在于深度神经网络具有很强的特征提取能力。多层的网络结构意味着可以获得关于样本的更高层次的语义信息。这种信息可以帮助网络更好地完成任务。

应用在域适应问题中的深度学习方法被称为深度域适应。 ,其中心思想是用深度神经网络对齐源域与目标域的数据分布 。与传统方法相比,深度域适应方法获得的特征不仅有更强的泛化能力还有更好的可迁移性。

域适应问题根据目标域有无标签可以分为有监督域适应和无监督域适应。无监督域适应方法可以很容易地被扩展应用到有监督域适应中,因此在域适应领域,无监督域适应方法是研究的重点。

迁移学习

域适应

深度域适应

域适应与迁移学习的关系

域适应与迁移学习都是在源域目标域边缘概率分布不同的条件下解决如何使用源域数据来预测目标域数据标签的问题。与迁移学习相比,域适应还需要保证源域目标域的标签空间和特征空间都相同且条件概率分布相同。域适应是一种背景条件约束更加严格的迁移学习问题。域适应问题是迁移学习问题的子集。因为域适应的条件约束更多且域适应方法能够被稍加改变来适应迁移学习中的其他问题,所以域适应是当前迁移学习问题的研究重点。

影响目标域任务性能的因为---泛化误差

模型在目标域上的泛化误差可以作为衡量目标域任务性能的标准,探究影响目标域任务性能的因素也就是探究影响目标域泛化误差的因素。

影响目标域泛化误差的因素有三个,分别是源域泛化误差领域间差异最优联合泛化误差。域适应探索源域和目标域之间的关系,用在源域中学习到的知识作为目标域任务提供支持。在源域中获得知识的质量将影响目标域的任务性能,知识质量越高,目标域性能越好,知识质量越低,目标域任务性能越差。

负迁移

深度域适应

本节中的深度域适应是指使用深度学习技术来解决一般情况下的域适应问题, 即单源域单目标域的无监督同构域适应问题

对深度神经网络的可解释性研究表明网络的浅层提取模式的基本组成结构, 如图像中的点, 线, 拐角等特征; 网络的深层提取与任务相关的高层语义信息.

一个训练好的网络的浅层可以作为新任务的初始模型, 这种训练方式被称为预训练。 使用浅层网络权重初始化一个新任务网络的训练方式相当于将已有知识迁移到新的任务中, 这是深度学习在知识迁移中最朴素的应用.

Yosinski 等人研究了深度神经网络的可迁移性, 并提出了两种知识迁移的方式:一种是用源域网络浅层权重初始化目标域网络, 然后以微调方式训练目标域网络; 另一种是冻结网络浅层权重, 从头训练目标域网络深层权重。 这两种方式都在迁移源域中与基本组成结构相关的知识. 值得注意的是, 微调技术使用到了目标域中带标签的样本, 也就是说微调技术只适用于有监督迁移学习, 而不能用来解决无监督迁移学习。 与微调技术相比, 域适应的重点在于更充分地挖掘源域与目标域的相似性, 并且更灵活地在目标域任务中应用两个域之间的相似性, 使在源域训练获得的知识在目标域任务中发挥更大作用。

根据深度神经网络在域适应方法中发挥的不同作用, 深度域适应方法可以分为四类: 基于领域分布差异的方法, 基于对抗的方法, 基于重构的方法和基于样本生成的方法. 这四类深度域适应方法的基本特点列于表 1 中.

基于领域分布差异的方法

基于领域分布差异的域适应方法通过减少两个领域间的差异来减少目标域泛化误差。基于领域分布差异的方法根据对分布差异衡量准则的不同又可以分为基于统计准则的方法,基于结构准则的方法,基于流形准则的方法和基于图准则的方法。

基于统计准则的方法

基于统计准则的方法使用均值或高阶矩来度量领域间差异,常见距离如下所示:

1 MMD (最大均值差异)

2 CORAL(关联对齐距离)

3 CMD (中心距差异)

4 Wasserstein Distance(搬土距离)

基于图准则的方法

参考文献:
https://www.cnblogs.com/Jason66661010/p/13883635.html
https://www.cnblogs.com/alan-blog-TsingHua/p/10624200.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/899758.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

JDK8-时间格式化类-时区类-工具类--java进阶day07

1.时间格式化类:DateTimeFormatter1.创建方式 使用DateTimeFormatter调用ofPattern方法即可. 2.格式化方法创建好DateTimeFormatter对象后,调用format方法,将要格式化的日期对象放入即可.3.日期字符串解析 将一个日期字符串变为日期,需要用到日历类对象,调用它的parse方法…

无人机仿真环境介绍及其配置

博客地址:https://www.cnblogs.com/zylyehuo/参考 https://space.bilibili.com/393165606/channel/collectiondetail?sid=1750583&spm_id_from=333.788.0.0仿真器 VS 模拟器目录为什么要学习 ROS 发展现状课程介绍ROS 是什么 历史起源总体设计 一个目标五个特点点对点的设…

为什么 AI 在处理新闻方面如此糟糕

托马斯史密斯插画来源:Ideogram新闻流淌在我的血液里。我的日常工作是一家新闻摄影机构的负责人,而我的主网站是一个专注于旧金山湾区新闻的站点。 我与新闻内容息息相关,所以我对 AI 在处理新闻方面的糟糕表现感受尤为深刻。 哥伦比亚新闻评论(Columbia Journalism Review…

活动回顾 - 《开源智能搜索与知识库管理 - Coco AI》直播活动圆满结束,附 PPT 下载与视频回放

2025 年 03 月 07 日,由搜索客社区和极限科技(INFINI Labs)联合举办的第 7 期线上 Meetup 技术交流直播活动圆满结束。本期 Meetup 直播活动吸引了超过 700+ 技术爱好者观看参与,活动主要介绍了极限科技新推出并正在研发的开源智能搜索产品 Coco AI 的技术特点和应用场景,…

一文带你搞懂SpringBoot项目实现自动化部署

前言要实现springboot项目自动化部署,需要了解下面四个技术点:SpringBoot Profiles Maven命令 Jenkins的使用 Shell脚本下面我们会一一来介绍这四个技术点,最后用一个综合事例来给大家呈现springboot项目的自动化部署。1. SpringBoot Profilesprofiles 是 Spring 框架的一种…

centos更改命令提示符颜色

PS1="\[\e[1;32m\][\t \[\e[1;33m\]\u\[\e[35m\]@\h\[\e[1;31m\] \W\[\e[1;32m\]]\[\e[0m\]\\$"永久生效vim /etc/profile.d/test.sh PS1="\[\e[1;32m\][\t \[\e[1;33m\]\u\[\e[35m\]@\h\[\e[1;31m\] \W\[\e[1;32m\]]\[\e[0m\]\\$"效果: PS1的定义中个常…

P1600 [NOIP 2016 提高组] 天天爱跑步解析

思维难度:cf2300+ 实现方案:贡献计算 方法:线段树合并或者树上差分+桶的统计 思路点补充: 按照题目的设定,如果一个观察员 \(j\) 能够观察到某个人经过,说明 \(j\)一定在第 \(i\)个人的路径上。 树上的路径是唯一确定的,由此可以得到两种情况。 情况一:观察员 \(j\) 此…

C#语言碎片:Switch-Case语句字符串匹配

Switch case语句在处理字符串类型匹配时候,case条件需要设置为静态常量或者一个具体的字符串:因为工具类ToolHand.Name 为变量,所以编译不通过。 使用if语句来逐个判断:看AI对此的解释:C#的switch语句在条件匹配之所以要用静态常量是因为,编译时常量(const)在编译时就被…

TaskPyro:一个轻量级的 Python 任务调度和爬虫管理平台

爬虫管理系统,爬虫管理平台,可视化操作,完整监控,灵活的Python环境管理,,环境隔离,资源占用小,支持 Scrapy 等主流爬虫框架,支持 Selenium、Playwright、DrissionPage 等浏览器自动化工具,支持node环境下的js逆向代码前言 推荐一款本人在使用的Python爬虫管理平台,亲测不错!!…

如何重置CentOS 7的root密码?

简介: 重置CentOS 7 root密码的方式和Centos 6完全不同。让我来展示一下到底如何操作。1 - 在启动grub菜单,选择编辑选项启动2 - 按键盘e键,来进入编辑界面3 - 找到Linux 16的那一行,将ro改为rw init=/sysroot/bin/... 重置CentOS 7 root密码的方式和Centos 6完全不同。让我…

苹果灵动岛功能怎么玩

苹果灵动岛功能怎么玩?苹果的灵动岛功能是一种新的交互方式,可以显示各种提示信息,包括来电显示、信息、后台使用的APP(如音乐)等。以下是一些关于如何玩转灵动岛功能的建议: 查看和管理通知:灵动岛会显示通知和警报,你可以点击灵动岛直接切换到关联的应用程序6。 互动…

画蟒蛇

蟒蛇绘制 import turtle turtle.setup(650, 350, 200, 200) turtle.penup() turtle.fd(-250) turtle.pendown() turtle.pensize(25) turtle.pencolor("purple") turtle.seth(-40) for i in range(4): turtle.circle(40, 80) turtle.circle(-40, 80) turtle.circle(40…