LLM之makeMoE：makeMoE的简介、安装和使用方法、案例应用之详细攻略
目录
makeMoE的简介
1、对比makemore
2、相关代码文件
makMoE_from_Scratch.ipynb文件
makeMoE_Concise.ipynb文件
makeMoE的安装和使用方法
1、基于Databricks使用单个A100进行开发
makeMoE的案例应用
makeMoE的简介
2024年1月23日，AviSoori1x发布了makeMoE。makeMoE是一个从头开始实现的稀疏专家混合语言模型，灵感主要来自（并且在很大程度上基于）Andrej Karpathy的https://github.com/karpathy/makemore
GitHub地址：https://github.com/AviSoori1x/makeMoE/tree/main
HuggingFace社区博客地址：https://huggingface.co/blog/AviSoori1x/makemoe-from-scratch
1、对比makemore
| 简介 | 这是一个从头开始实现的稀疏专家混合语言模型。灵感主要来自Andrej Karpathy的项目'makemore'，并借用了该实现的可重用组件。与makemore一样，makeMoE也是一个自回归的字符级语言模型，但使用了前述的稀疏专家混合架构。 |
| 对比 | 与makemore一样，pytorch是唯一的要求（所以希望从头开始的说法是合理的）。 与makemore架构相比的重要变化： >> 稀疏专家混合代替独立的前馈神经网络。 >> Top-k门控和有噪声的Top-k门控实现。 >> 初始化 - 这里使用了Kaiming He初始化，但这个笔记本的目的是可黑客化的，所以你可以替换为Xavier Glorot等，并试试效果。 |
| 与makemore相同的部分： >> 数据集、预处理（标记化）和Andrej最初选择的语言建模任务 - 生成类似莎士比亚的文本。 >> 因果自注意力实现 >> 训练循环 >> 推理逻辑 | |
| 引用 | >> "Outrageously Large Neural Networks: The Sparsely-Gated Mixture-Of-Experts layer"：https://arxiv.org/pdf/1701.06538.pdf >> "Mixture of Experts"：https://arxiv.org/pdf/2401.04088.pdf |
2、相关代码文件
makMoE_from_Scratch.ipynb文件
makMoE_from_Scratch.ipynb详细介绍了整个模型架构的直觉以及所有组件如何配合。建议从这里开始。
makeMoE_Concise.ipynb文件
makeMoE_Concise.ipynb是一个简洁的、可修改性的实现，我鼓励你去修改，理解，改进并使其成为你自己的。
makeMoE的安装和使用方法
1、基于Databricks使用单个A100进行开发
该代码完全在Databricks上使用单个A100进行开发。如果你在Databricks上运行这个代码，可以在你选择的云提供商上轻松地将其扩展到任意大的GPU集群上。
我选择使用MLFlow（在Databricks中预先安装）。这是完全开源的，你也可以在其他地方轻松pip install。我发现使用它来跟踪和记录所有必要的指标非常有帮助。这是完全可选的。
请注意，该实现强调可读性和可修改性而不是性能，因此有许多方法可以改进。请尝试并告诉我！
makeMoE的案例应用
更新中……
