《大语言模型：原理与工程实践》-大模型基础技术

rtyu789

《大语言模型：原理与工程实践》-大模型基础技术 [复制链接]

十分感谢EEWorld和电子工业出版社提供了此次书籍阅读和分享的机会。

# 一、书籍概览

数据在对模型的展示中，用了丰富的图示，可以更方便读者进行理解

![836522](/data/attachment/forum/202408/28/003002k9elo71414ae8rbq.jpg.thumb.jpg?rand=4268.273136761895)

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_836527" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=836527&handlekey=savephoto_836527">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

每个章节后增加了参考文献，方便读者的阅读

<ignore_js_op>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_836525" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=836525&handlekey=savephoto_836525">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

# 二、大模型的基础技术

平时对大模型的推理了解的较多，但是对训练大模型背后的技术了解的比较少，本章主要从四个方面介绍了大模型的基础技术
1. 自然语言的基本表示方法
 1. 词表示技术
  1. 词的独热表示
  2. 词的分布式表示
  3. 基于预训练的词嵌入式表示
 2. 分词技术
  1. word粒度
  2. character粒度
  3. subword粒度
2. 经典结构Transformer
3. Transformer预训练语言模型
 1. Encoder-Only预训练语言模型——BERT
 2. Decoder-Only预训练语言模型——GPT
 3. Encoder-Decoder预训练语言模型——T5、BART
4. 分别对开源和闭源大模型进行介绍
 1. InstructGPT
 2. LLaMA

本书对2.3.4.部分的章节描述的比较详细，所以主要补充一下第一部分的内容，笔者比较感兴趣

# 三、自然语言的基本表示方法

1. 词表示技术
词的独热表示是一种最简单最直接的词的向量化表示方式。主要步骤包含两步：

1) 对需要用到的文本中所有词进行编码（假设共用N个词），每个词有唯一的下标（0~N）
2) 根据词下标 i 生成一个长度为N的向量，除了第i位为1外，其他位都为0

下面举个简单的例子进行说明：

```shell
I like deep learning
I like NLP
I enjoy flying
```

忽略大小写，对不同的词进行编码：
```shell
word_dict = {0: 'i', 1: 'like', 2: 'deep', 3: 'learning', 4: 'NLP', 5: 'enjoy', 6: 'flying'}
```
显然，根据不同词个数（7），我们需要构建的One-Hot向量长度为7：

| 词   | 编码 | One-hot表示 |
| -------- | ---- | ------------- |
| i  | 0  | [1,0,0,0,0,0,0] |
| like | 1  | [0,1,0,0,0,0,0] |
| deep | 2  | [0,0,1,0,0,0,0] |
| learning | 3  | [0,0,0,1,0,0,0] |
| NLP  | 4  | [0,0,0,0,1,0,0] |
| enjoy  | 5  | [0,0,0,0,0,1,0] |
| flying | 6  | [0,0,0,0,0,0,1] |

2. 基于预训练的词嵌入式表示

静态词向量语言模型，Word2vec，GloVe
动态词向量语言模型，ELMo，GPT，BEERT

主要介绍Word2vec，可以称为词嵌入

上面介绍的词的独热向量虽然十分的简单，但是不能准确的表达各个词语之间的相似度，所以在2013年，谷歌的科学家提出了Word2vec的方法，在词嵌入模式下，主要有两个模型跳元模型Skip-Gram和连续词袋CBOW模型

1) 跳元模型Skip-Gram

主要思想：假设一个词可以用来在文本序列中生成其周围的单词

图示：

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_836524_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>word2vec2.drawio.png</strong> <em class="xg1">(36.11 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_836524" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=836524&handlekey=savephoto_836524">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

对于如下的文本序列，给定中心词NLP
```shell
I like NLP and deep learning
```

跳元模型考虑生成上下文词I,like,and,deep,learning的条件概率

```shell
P("I","like","and","deep","learning")
```
假设上下文词是在给定中心词的情况下独立生成的（即条件独立性）。在这种情况下，上述条件概率可以重写为

1) 连续词袋CBOW

主要思想：假设中心词是基于其在文本序列中的周围上下文词生成的

图示：

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_836523_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>word2vec1.drawio.png</strong> <em class="xg1">(32.16 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_836523" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=836523&handlekey=savephoto_836523">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

写的这些内容也仅仅是抛转引玉，更多的NLP内容读者可以自己加以学习，对于语言处理也是一门很深的学问，需要不断的学习

# 参考资料
[词的独热（one-hot）表示](https://blog.csdn.net/weixin_38659482/article/details/123316173)
[深入浅出 one-hot](https://zhuanlan.zhihu.com/p/634296763)
[如何通俗理解Word2Vec (23年修订版)](https://blog.csdn.net/v_JULY_v/article/details/102708459)
[14.1. 词嵌入（word2vec）](https://zh.d2l.ai/chapter_natural-language-processing-pretraining/word2vec.html)
[Distributed Representations of Words and Phrases and their Compositionality](https://arxiv.org/abs/1310.4546)
[Efficient Estimation of Word Representations in Vector Space](https://arxiv.org/abs/1301.3781)