《大模型时代的基础架构》阅读心得1—初识大模型基础

乐悠刘

《大模型时代的基础架构》阅读心得1—初识大模型基础 [复制链接]

很幸运有机会阅读到《大模型时代的基础架构》这本书，让我能够了解并学习当下的热点——大模型。为我下一步的学习阶段起到了一个很好的衔接作用。我在做本科毕设的时候接触到了YOLO系列算法，初步了解了数据集、训练、测试、推理以及服务器等。阅读本书的前四章，使我对之前的知识有了一个更深刻更明白的认识。以下是一些个人读书笔记。

 

在第1章中我了解到了AI时代的基础需求，还记得刚使用ChatGpt时的惊讶，后来也接触到了一些其他的问答AI大模型，深深叹服其的能力。没想到我开始了探究大模型原理之路。在第一章中作者介绍了一些常见的大模型，让我脑中对“大模型”这个词有了一个电子形象。作者还介绍了机器学习的基础知识，许多之前糊里糊涂的知识仿佛有了一个清晰的见解。见到之前毕设的训练和权重等字眼，才恍然大悟，原来我早已接触大模型。通过训练样本得到最好的训练权重，并使用该权重可以去进行测试和推理。之前毕设是云服务器进行，读了这本书或许我会对大模型对硬件的需求有一个更深的了解，明白通过什么样的硬件来实现机器算法。

首先需要知道的是CPU，CPU相当于计算机的大脑，评估一个CPU一般通过评价这个CPU是几核的（CPU core），CPU中的ALU（算术逻辑单元）支持乘法指令和加法指令，使这个计算机可以完成向量卷积运算，进而进行机器学习，这样的CPU也叫图灵完备的。然而技术是不断进步的，简单的CPU可能完成不了我们的一些任务，于是又有了PPU、GPU的问世，GPU又叫图形处理器。GPU是我们常说的显卡上的一块芯片，而显卡是包含GPU的一块集成电路板，GPU不等于显卡。GPU之后又出现了CUDA，每个GPU芯片内部都有一定数量的CUDA Core。技术不断变革，后又出现了擅长计算矩阵和向量的TPU，防止不必要的浪费。书中的插图1-9使我仿佛回到了大学上智能控制基础的课堂，前向传播与反向传播，知识串起来了！

 

第二章介绍了软件和硬件的结合。CUDA是一个为并行计算设计的编程框架，可以通过它调用GPU中的计算单元进行运算。CUDA的存在将CPU、GPU和系统主内存连接起来了。在这里还接触到了TensorFlow机器学习开发框架，它可以提升机器学习程序开发效率，支持分布式训练。

 

初步认识了这些基础知识后，第3，4章就开始对其内部硬件构造进行进一步的介绍。使读者有一个更深的见解。GPU的芯片内部可谓是复杂。书中列举了Nvidia H100 GPU为例向读者进行了介绍。它的核心芯片是Nvidia AH100。该卡上采用NVlink等多种互连技术，使GPU卡与外部相连。不得不感叹小小的芯片内部别有洞天，硬件的力量很强大。记忆深刻的是书中提到的核心部件SM（流式多处理器），它是运行CUDA内核的GPU的一部分。这也是GPU能够用来支撑机器学习程序的高效运行的原因之一。为了机器学习还需要搭建许多其他的服务平台，比如CPU，内存等，作者以此引入了第4章一台GPU服务器的搭建，这就不得不使我感叹做毕设的时候租用的云服务器和自己的电脑相比，简直云泥之别，速度非常快。借此书也让我对租用的服服务器有了初步了解。作者以Nvidia DGX A100为例作了介绍，它的内部配备了8个Nvidia A100 SXM GPU，这些GPU专为高性能计算和AI应用而设计。DGX A100采用了双路AMD Rome 7742处理器，每颗处理器拥有64个核心，总计128个核心。还配备了高速的NVMe SSD存储，以满足大数据处理和存储需求。可以看出来，NVIDIA DGX A100是一款集高性能GPU、CPU于一体的个人超级计算机，专为满足AI研究、深度学习等高性能计算任务而设计。

 

下一步我将继续学习如何保证数据读写和交换的效率。

Jacktang

期待分享下面的如何保证数据读写和交换的效率感悟哈

simonhfcn

文章内容不错，期待有更深入的分享