没有标签y依旧提取出特征
你的模型朝着哪个方向压缩特征,由你的标签来定
自监督学习:从x中提取一部分作为自己的标签y,然后用x预测y
在自监督学习中,需要根据数据的特点设计一些自监督任务,这些任务通常基于数据的一些内在属性或关系来构建。例如,在图像数据中,可以设计图像旋转任务,将图像随机旋转一定角度,然后让模型预测旋转的角度;在文本数据中,可以将句子中的某些单词进行掩码,然后让模型预测被掩码的单词。
学习通用特征表示:自监督学习的目标是让模型学习到一种能够捕捉数据本质特征的通用表示。在完成各种自监督任务的过程中,模型会自动提取数据中的关键特征,这些特征对于解决其他相关任务具有重要的价值。例如,在文本自监督学习中,模型通过预测掩码单词等任务,能够学习到单词之间的语义关系、句子的语法结构等信息,这些信息可以帮助模型在后续的文本分类、情感分析等任务中表现得更好。
无监督学习:Unsupervised Learning
对比学习
1 Simsaim
2生成式对抗网络(Generative adversarial network, GAN)
3cycle-gan