《大语言模型开发：用开源模型开发本地系统》-开源大语言模型的架构、训练和推理过程

ljg2np

《大语言模型开发：用开源模型开发本地系统》-开源大语言模型的架构、训练和推理过程 [复制链接]

     首先感谢EEWorld和清华大学出版社提供此次书籍阅读和分享的机会，对本书作者的辛勤付出也表示感谢。

     本文分享书中对“理解开源大语言模型的架构、训练和推理过程”的阅读理解。

一、引言

       本书共分十二章，书中主要讲解了LLM的一些关键技术，本书以开源模型Llama2为主要研究对象就关键技术进行了阐述和介绍。该书并不是一本开发LLM的专著，而是将注意力放在了LLM开发的关键技术和细节上，以开源模型的代表之一Llama2为着手点，就PyTorch库在Llama2的应用进行了解析，书中有代码讲解。

        通览此书，感觉书中内容详实，对LLM的发展脉络进行了整理，介绍了AI深度学习的一些基本知识，对一些基础内容进行了概述，如PyTorch应用等，对NLP的主要内容，通过一章的幅度进行了讲解，不失为一本学习NLP技术的比较难得的参考书。

二、模型架构

         书中讲到，LLM模型架构，比较成熟的，是基于transformers的架构，无论闭源的GPT，还是开源的Llama。

         transformer架构以自注意力机制技术得到广泛推广和应用，分为编码器、解码器和混合编解码器，它们因应用而有不同。

三、模型训练

        在LLM的模型训练中，主要是大模型的预训练和模型微调相结合。

        对于大模型的预训练，首先对数据集进行划分，分为训练集、验证集和预测集。由于模型的预训练，采用DNN的形式进行，通过训练得到的NN的权重参数和偏差参数的数量非常大，因此将这类模型称为大模型。

        LLM的训练是无监督学习模式，基于transformer架构，通过模型训练来提取模型的特征，这与CNN和RNN的架构有所不同。

四、模型推理过程

        模型推理过程，按书中的描述，主要分为两类：一类是逻辑自回归，按照之前的语料预测下一词元，典型代表是GPT；一类是自编码模型，这类模型通过上下文关系，来推理得到预测词元，典型的代表是BERT。

五、小结与讨论

        总体来说，对于入门级别的读者来说，书中提供的内容和资料还是比较详实和充分的，虽然在成书的当年Meta又推出了Llama3，但对于Llama2的解析，个人认为并不过时，毕竟架构和开源的大方向是不变的，有了这个基础，对于我们了解和应用Llama3也是有帮助的。

 

推荐阅读和参考资料：1、transformer架构。

2、Llama3技术论文。