Freeze: 即参数冻结,对原始模型部分参数进行冻结操作,仅训练部分参数,以达到在单卡或不进行TP或PP操作,就可以对大模型进行训练。
P-Tuning: 在输入的embedding层前,将prompt转换为可学习的额外一层embedding层.
- P-Tuning,仅对大模型的Embedding加入新的参数。
- P-Tuning-V2,将大模型的Embedding和每一层前都加上新的参数。
- 当prefix_projection为True时,为P-Tuning-V2方法,在大模型的Embedding和每一层前都加上新的参数;为False时,为P-Tuning方法,仅在大模型的Embedding上新的参数。