一、LLM 架构（可参考：/s/15HwEHiH2ldLQnV6zKbkEcQ 提取码：dnyx ）
编码器-解码器Transformer架构：更具体地说是 decoder only 的Transformer 架构，这是 LLMs 的基础，几乎所有的生成大语言模型都会用到这个架构。
Tokenization：了解如何将原始文本数据转换为模型可以理解的格式
注意力机制：掌握注意力机制背后的理论，包括自注意力和缩放点积注意力，这使模型在生成输出时能够专注于输入的不同部分。
文本生成：了解模型生成输出序列的不同方式。常见的策略包括贪心解码（greedy decoding）, 束搜索（beam search）, top-k 采样 和 nucleus sampling（top-p sampling）
二、预训练模型
预训练是一个非常漫长且昂贵的过程，对大多数人来说可以不把重点放在这方面。但是了解预训练都干什么还是有必要的，只是不需要进行实际操作。
数据pipeline：预训练需要大规模的数据集（例如，Llama 2是在2万亿个token上进行训练的），这些数据集需要进行过滤、Tokenization，并与预定义的词汇表合并。
因果语言建模：学习因果语言建模与掩码语言建模的区别，以及在这种情况下使用的损失函数。为了进行高效的预训练，还需要了解Megatron-LM / gpt-neox。
缩放定律：缩放定律介绍如何基于模型大小、数据集大小以及用于训练的计算量来预测模型性能。
高性能计算：如果要从头搭建自己的LLM（硬件、分布式工作负载等），那么关于HPC的知识还是很重要的。
三、llm算法工程师做什么的
LLM算法工程师的主要职责包括设计和开发自然语言处理（NLP）算法，特别是基于大规模语言模型的应用。他们负责维护和优化现有的语言模型，提高其性能和准确性，并与数据科学家和机器学习工程师合作，将模型集成到产品中。此外，LLM算法工程师还需要跟踪最新的研究进展，不断改进模型，并进行数据处理和分析，为模型训练准备数据集。
具体工作内容
模型设计与优化：根据应用场景的需求，设计合适的LLM架构，并通过调整超参数、改进训练算法等方式，不断优化模型性能。
数据准备与标注：收集、清洗和标注大规模文本数据，为LLM的训练提供丰富的语料库。
训练与调优：利用高性能计算资源对LLM进行大规模训练，并通过监控模型性能，及时调整训练策略，确保模型的高效性和准确性。
算法研究与创新：跟踪自然语言处理和深度学习领域的最新研究成果，不断探索新的算法和技术，以提升LLM的智能化水平。
应用开发与集成：将LLM应用于实际场景中，如智能客服、自动翻译、文本生成等，并通过与前端、后端工程师的紧密合作，实现系统的无缝集成。
四、学习LLm算法需要什么基础？
1、编程能力：熟练掌握Python、TensorFlow、PyTorch等编程语言和深度学习框架。
2、数学与统计学基础：需要熟练掌握线性代数、概率论与数理统计等数学工具。
3、自然语言处理知识：了解自然语言处理的基本原理和技术，如分词、词性标注、句法分析等。
4、机器学习与深度学习：深入理解各种机器学习算法和深度学习模型，如循环神经网络（RNN）、Transformer等。
5、数据处理与分析：能够有效地清洗、预处理和分析大规模数据集，为LLM的训练提供高质量的数据支持。
五、就业前景如何？
市场需求
大语言模型的流行带动了整个AI产业的增长，企业对基于LLM的智能化应用需求激增。以下是一些常见的招聘趋势：
行业分布：
互联网：智能搜索、内容生成、智能客服。
金融：合同审查、风险分析、文本挖掘。
教育：智能学习助手、自动批改系统。
医疗：医学记录摘要、病历分析。
六、算法工程师的薪资待遇：
作为热门领域和人才供不应求的算法工程师，薪资让人羡慕。根据各大招聘平台的统计，像北上广深这样的一线城市，平均薪资基本在25K。而在二三线城市，算法工程师的平均薪资大概也在15K左右。由于算法工程师对于知识结构的要求比较丰富，同时算法工程师岗位主要以研发为主，需要从业者具备一定的创新能力，所以要想从事算法工程师岗位最好读一下研究生，目前不少大型科技企业对于算法工程师的相关岗位也有一定的学历要求。人工智能科班出身的博士，50万年薪起步，优秀的开到80万、100万都不一定能抢到。
