词表示与语言模型、大模型背后的范式

 

 

 

 

 

这张幻灯片讨论了大模型背后的范式，特别是预训练和微调的基本范式可以追溯到迁移学习。以下是主要内容：

1. 迁移学习 ：

   • 预训练和微调的基本范式可以追溯到迁移学习。
   • 人类可以应用之前学到的知识更快地处理新问题，我们希望机器也具有类似的能力。

2. 传统机器学习 vs. 迁移学习 ：

   • 左侧图示（a）展示了传统机器学习的学习过程：
     • 不同的任务使用不同的学习系统。
   • 右侧图示（b）展示了迁移学习的学习过程：
     • 源任务的知识被提取并应用于目标任务，使用同一个学习系统。

通过迁移学习，模型可以利用在一个任务中学到的知识来更好地解决另一个任务，提高学习效率和性能。