原则：从易到难，只用 pytorch

从第一个项目来熟悉 transformer 的使用；

从第二个项目来掌握对训练数据的使用方法及 transformer 的 decoder 的细节；

从第三个项目来理解 LLM 的整个过程；

1，Transformer tutorial 阶段的教程

https://github.com/wmathor/nlp-tutorial/blob/master/5-1.Transformer/Transformer_Torch.pyhttps://github.com/wmathor/nlp-tutorial/blob/master/5-1.Transformer/Transformer_Torch.py

    参考：

            Transformer详解 - mathor

            Transformer的PyTorch实现 - mathor

 

2，Transformer 原论文复现项目

The Annotated TransformerThe Annotated Transformerhttp://nlp.seas.harvard.edu/2018/04/03/attention.html

    参考：

            The Illustrated Transformer – Jay Alammar – Visualizing machine learning one concept at a time.

3，自然语言处理实战——预训练模型应用及其产品化

这是一本书，通过本书可以掌握自然语言处理的常用技术

如果之前没有基础，则可以对其中的技术做一些扩充掌握，比如词嵌入向量的技术细节。

4， 开源 LLM 模型项目 OLMo

GitHub - allenai/OLMo: Modeling, training, eval, and inference code for OLMoModeling, training, eval, and inference code for OLMo - allenai/OLMohttps://github.com/allenai/OLMo

    OLMo 的项目论文：

    https://arxiv.org/abs/2402.00838