为了增强域适应技术的适应性，复杂情况下的域适应逐渐成为研究热点，其中标签空间不一致和复杂目标域情况下的域适应技术是近年来的新兴方法。
机器学习已经在许多领域中成功应用，但是手机并标注与测试集具有相同分布的样本代价是高昂的。当训练集和测试集的分布存在差异时，由训练集得到的模型不能再测试集上取得良好的预测结果。迁移学习就是解决训练集（源域）与测试集（目标域）之间存在分布差异的机器学习方法，其核心是找到源域和目标域之间的相似性，利用相似性将在源域中获得的知识应用于目标域。
迁移学习按照问题的背景设置可以划分为两类，第一类是源域目标域标签空间和特征空间都相同的域适应，即一般情况下的域适应，第二类是复杂情况下的域适应，其包含多个子方向，如标签空间不一致的域适应，复杂目标域情况下的域适应等。一般情况下的域适应问题是背条件约束更严格的迁移学习问题。复杂情况下的域适应问题可以通过对一般情况下的域适应方法改进加以解决。域适应问题是迁移学习中的研究重点，是迁移学习的基本问题。
深度学习算法从大规模数据中提取知识，其性能显著超越传统机器学习方法。深度学习取得优异性能的原因在于深度神经网络具有很强的特征提取能力。多层的网络结构意味着可以获得关于样本的更高层次的语义信息。这种信息可以帮助网络更好地完成任务。
应用在域适应问题中的深度学习方法被称为深度域适应。 ，其中心思想是用深度神经网络对齐源域与目标域的数据分布 。与传统方法相比，深度域适应方法获得的特征不仅有更强的泛化能力还有更好的可迁移性。
域适应问题根据目标域有无标签可以分为有监督域适应和无监督域适应。无监督域适应方法可以很容易地被扩展应用到有监督域适应中，因此在域适应领域，无监督域适应方法是研究的重点。
迁移学习
域适应
深度域适应
域适应与迁移学习的关系
域适应与迁移学习都是在源域目标域边缘概率分布不同的条件下解决如何使用源域数据来预测目标域数据标签的问题。与迁移学习相比，域适应还需要保证源域目标域的标签空间和特征空间都相同且条件概率分布相同。域适应是一种背景条件约束更加严格的迁移学习问题。域适应问题是迁移学习问题的子集。因为域适应的条件约束更多且域适应方法能够被稍加改变来适应迁移学习中的其他问题，所以域适应是当前迁移学习问题的研究重点。
影响目标域任务性能的因为---泛化误差
模型在目标域上的泛化误差可以作为衡量目标域任务性能的标准，探究影响目标域任务性能的因素也就是探究影响目标域泛化误差的因素。
影响目标域泛化误差的因素有三个，分别是源域泛化误差，领域间差异和最优联合泛化误差。域适应探索源域和目标域之间的关系，用在源域中学习到的知识作为目标域任务提供支持。在源域中获得知识的质量将影响目标域的任务性能，知识质量越高，目标域性能越好，知识质量越低，目标域任务性能越差。
负迁移
深度域适应
本节中的深度域适应是指使用深度学习技术来解决一般情况下的域适应问题, 即单源域单目标域的无监督同构域适应问题。
对深度神经网络的可解释性研究表明网络的浅层提取模式的基本组成结构, 如图像中的点, 线, 拐角等特征; 网络的深层提取与任务相关的高层语义信息.
一个训练好的网络的浅层可以作为新任务的初始模型, 这种训练方式被称为预训练。 使用浅层网络权重初始化一个新任务网络的训练方式相当于将已有知识迁移到新的任务中, 这是深度学习在知识迁移中最朴素的应用.
Yosinski 等人研究了深度神经网络的可迁移性, 并提出了两种知识迁移的方式：一种是用源域网络浅层权重初始化目标域网络, 然后以微调方式训练目标域网络; 另一种是冻结网络浅层权重, 从头训练目标域网络深层权重。 这两种方式都在迁移源域中与基本组成结构相关的知识. 值得注意的是, 微调技术使用到了目标域中带标签的样本, 也就是说微调技术只适用于有监督迁移学习, 而不能用来解决无监督迁移学习。 与微调技术相比, 域适应的重点在于更充分地挖掘源域与目标域的相似性, 并且更灵活地在目标域任务中应用两个域之间的相似性, 使在源域训练获得的知识在目标域任务中发挥更大作用。
根据深度神经网络在域适应方法中发挥的不同作用, 深度域适应方法可以分为四类: 基于领域分布差异的方法, 基于对抗的方法, 基于重构的方法和基于样本生成的方法. 这四类深度域适应方法的基本特点列于表 1 中.
基于领域分布差异的方法
基于领域分布差异的域适应方法通过减少两个领域间的差异来减少目标域泛化误差。基于领域分布差异的方法根据对分布差异衡量准则的不同又可以分为基于统计准则的方法，基于结构准则的方法，基于流形准则的方法和基于图准则的方法。
基于统计准则的方法
基于统计准则的方法使用均值或高阶矩来度量领域间差异，常见距离如下所示：
1 MMD （最大均值差异）
2 CORAL（关联对齐距离）
3 CMD （中心距差异）
4 Wasserstein Distance(搬土距离)
基于图准则的方法
参考文献：
https://www.cnblogs.com/Jason66661010/p/13883635.html
https://www.cnblogs.com/alan-blog-TsingHua/p/10624200.html
![P1600 [NOIP 2016 提高组] 天天爱跑步解析](https://typora-code.oss-cn-shenzhen.aliyuncs.com/undefinedimage-20250316110803699.png)
