大规模语言模型 从理论到实践 推荐序和前言

菜菜蜡笔

大规模语言模型 从理论到实践 推荐序和前言 [复制链接]

推荐序和前言对于一本书有提纲挚领作用，特别是对于新手学习大有裨益

#语言模型 #序言 #数学符号  #目录

本书推荐序介绍了全书脉络，以大规模语言模型构建的四个主要阶段为主线，展开对大规模语言模型的全面介绍
第一部分详细介绍大规模语言模型的理论基础知识，包括语言模型的定义、Transformer结构，以及大规模语言模型框架等内容。
第二部分主要介绍预训练的相关内容，包括在模型分布式训练中需要掌握的数据并行、流水线并行和模型并行等技术。
第三部分聚焦于大规模语言模型在指令理解阶段的主要研究内容。
第四部分重点介绍大规模语言模型的扩展应用和评价。
前言部分概述了大规模语言模型（**LLM**）发展历程和历史渊源。大规模语言模型发展历程可分为基础模型阶段、能力探索阶段、突破发展阶段，也就是当下。本书主要内容围绕大规模语言模型构建的四个主要阶段——预训练、有监督微调、奖励建模和强化学习发展展开，详细介绍各个阶段使用的算法、数据、难点及实践经验。
这本书可以给感兴趣的读者提供入门指南和学习指导，这也是我申请这本书的理由，后面的日子认真学习章节，循序渐进。
数学符号在后面大有作用

 

后面内容，明天再更新。

Jacktang

数学符号是基础，期待后面内容展开了讲讲哈

ljg2np

这本书个人感觉比较偏向教材性质，同样期待分享中...