用新数据重建旧类，实现无样本的持续学习
众所周知，持续学习方法会遭受灾难性遗忘，对于不存储先前任务示例的方法来说，这种现象尤其难以应对。因此，为了减少特征提取器中的潜在漂移，通常在第一个任务明显大于后续任务的情况下评估现有的无样本方法。从较小的第一个任务开始，他们在更具挑战性的环境中的表现急剧下降。为了解决无样本方法的特征漂移估计问题，提出对当前样本进行对抗性扰动，使其嵌入接近旧模型嵌入空间中的旧类原型。然后，使用扰动图像估计嵌入空间中从旧模型到新模型的漂移，并相应地补偿原型。利用了这样一个事实，即在持续学习的环境中，对抗样本可以从旧的特征空间转移到新的特征空间。这些图像的生成简单且计算成本低廉。在实验中证明，所提出的方法可以更好地跟踪原型在嵌入空间中的移动，并且在几个标准的连续学习基准以及ffne粒度数据集上优于现有方法。
对抗样本生成与具有漂移补偿的模型训练，如图4-29所示。
图4-29 对抗样本生成与具有漂移补偿的模型训练
在图4-29中，（a）为对抗样本生成：在旧模型特征空间上，选择最接近旧原型的新样本，并在目标旧原型的方向上迭代扰动，以生成对抗样本，这些样本现在被误分类为目标旧类，导致嵌入更接近旧原型。为每个旧类执行此操作（在此处显示2个类进行演示）。（b）为具有漂移补偿的模型训练：新模型使用分类损失来学习新类，使用知识蒸馏损失来防止忘记旧类。在训练新模型后，使用旧模型生成的对抗样本，并通过两个模型估计从旧特征空间到新特征空间的漂移。然后，将用于更新旧原型。
