【《人工智能实践教程》测评】卷积神经网络
# 【《人工智能实践教程》测评】卷积神经网络### 全连接前馈神经网络
- 权重矩阵的参数非常多
- 局部不变性特征
- 自然图像中的物体都具有局部不变性特征
- 尺度缩放、平移、旋转等操作不影响其语义信息。
- 全连接前馈网络很难提取这些局部不变特征
### 卷积神经网络
- 卷积神经网络（Convolutional Neural Networks，CNN）
- 一种前馈神经网络
- 受生物学上感受野（Receptive Field）的机制而提出的
- 在视觉神经系统中，一个神经元的感受野是指视网膜上的特定区域，只有这个区域内的刺激才能够激活该神经元。
- 卷积神经网络有三个结构上的特性：
- 局部连接
- 权重共享
- 空间或时间上的次采样
### 卷积
- 卷积经常用在信号处理中，用于计算信号的延迟累积。
- 假设一个信号发生器每个时刻t产生一个信号xt ，其信息的衰减率为wk ，即在k−1个时间步长后，信息为原来的wk 倍
- 假设w1 = 1,w2 = 1/2,w3 = 1/4
- 时刻t收到的信号yt 为当前时刻产生的信息和以前时刻延迟信息的叠加。
### 卷积类型
- 卷积的结果按输出长度不同可以分为三类：
- 窄卷积：步长 � = 1 ，两端不补零 � = 0 ，卷积后输出长度为 � − � + 1
- 宽卷积：步长 � = 1 ，两端补零 � = � − 1 ，卷积后输出长度 � + � − 1
- 等宽卷积：步长 � = 1 ，两端补零 � =(� − 1)/2 ，卷积后输出长度 �
- 在早期的文献中，卷积一般默认为窄卷积。
- 而目前的文献中，卷积一般默认为等宽卷积。
### 两维卷积
在图像处理中，图像是以二维矩阵的形式输入到神经网络中，因此我们需要二维卷积。
### 卷积神经网络
用卷积层代替全连接层
### 互相关
- 计算卷积需要进行卷积核翻转。
- 卷积操作的目标：提取特征。
- 翻转是不必要的！
- 互相关
### 多个卷积核
- 特征映射（Feature Map）：图像经过卷积后得到的特征。
- 卷积核看成一个特征提取器
- 卷积层
- 输入：D个特征映射 M × N × D
- 输出：P个特征映射 M′ × N′ × P
### 汇聚层
- 卷积层虽然可以显著减少连接的个数，但是每一个特征映射的神经元个数并没有显著减少
### 卷积网络结构
- 卷积网络是由卷积层、汇聚层、全连接层交叉堆叠而成。
- 趋向于小卷积、大深度
- 趋向于全卷积
## 其他卷积
### 转置卷积/微步卷积
低维特征映射到高维特征
### 空洞卷积
- 如何增加输出单元的感受野
- 增加卷积核的大小
- 增加层数来实现
- 在卷积之前进行汇聚操作
- 空洞卷积
- 通过给卷积核插入“空洞”来变相地增加其大小。
## 典型卷积网络
### LeNet-5
- LeNet-5 是一个非常成功的神经网络模型。
- 基于 LeNet-5 的手写数字识别系统在 90 年代被美国很多银行使用，用来识别支票上面的手写数字。
- LeNet-5 共有 7 层。
### AlexNet
- 2012 ILSVRC winner
- （top 5 error of 16% compared to runner-up with 26% error）
- 第一个现代深度卷积网络模型
- 首次使用了很多现代深度卷积网络的一些技术方法
- 使用GPU进行并行训练，采用了ReLU作为非线性激活函数，使用Dropout防止过拟合，使用数据增强
- 5个卷积层、3个汇聚层和3个全连接层
### Inception网络
- 2014 ILSVRC winner （22层）
- 参数：GoogLeNet：4M VS AlexNet：60M
- 错误率：6.7%
- Inception网络是由有多个inception模块和少量的汇聚层堆叠而成。
### Inception模块 v1
- 在卷积网络中，如何设置卷积层的卷积核大小是一个十分关键的问题。
- 在Inception网络中，一个卷积层包含多个不同大小的卷积操作，称为Inception模块。
- Inception模块同时使用1 × 1、3 × 3、5 × 5等不同大小的卷积核，并将得到的特征映射在深度上拼接（堆叠）起来作为输出特征映射。
### Inception模块 v3
- 用多层的小卷积核来替换大的卷积核，以减少计算量和参数量。
- 使用两层3x3的卷积来替换v1中的5x5的卷积
- 使用连续的nx1和1xn来替换nxn的卷积。
### 残差网络
- 残差网络（Residual Network，ResNet）是通过给非线性的卷积层增加直连边的方式来提高信息的传播效率。
- 假设在一个深度网络中，我们期望一个非线性单元（可以为一层或多层的卷积层）f(x,θ)去逼近一个目标函数为h(x)。
- 将目标函数拆分成两部分：恒等函数和残差函数
### ResNet
- 2015 ILSVRC winner （152层）
- 错误率：3.57%
## 卷积的应用
### AlphaGo
- 分布式系统：1202 个CPU 和176 块GPU
- 单机版：48 个CPU 和8 块GPU
- 走子速度：3 毫秒-2 微秒
### 目标检测（Object Detection）
### Mask RCNN
实例分割算法
### OCR
### 图像生成
### Deep Dream
### 画风迁移
### 对抗样本 <p>单机版是48 个CPU 和8 块GPU，占的资源也挺多的</p>
Jacktang 发表于 2024-11-27 07:30
单机版是48 个CPU 和8 块GPU，占的资源也挺多的
<p><strong>AlphaGO部署于TPU，自发布至今，TPU技术已经经历了多代的演化和升级。</strong></p>
<ul>
<li>第一代TPU，被应用到<strong>AlphaGo</strong>上，在2015年和李世英对战时，就是部署了48个TPU。</li>
<li>第二代TPU，它被引入了<strong>Google Cloud</strong>，应用在谷歌计算引擎（Google Compute Engine ，简称GCE）中，也称为Cloud TPU。配置了TPU v2的AlphaGo，仅用了4块TPUv2，便击败当时的世界围棋冠军柯洁。</li>
<li>第三代TPU，（2018年）性能提升到第二代的2倍。每个Pod的性能提高了8倍，且每个pod最多可含1024个芯片。</li>
<li>第四代TPU，2021年。采用 7nm 工艺，翻倍的 MXU 数量，以及显著增加的内存容量和带宽，实现了性能的大幅提升。引入 Sparse Core ，针对稀疏计算进行了优化，使得 TPU v4 在处理深度学习中的 Embedding 层时更加高效。3D Torus 互联方式以及 TPU v4 Pod 的构建，展示了谷歌在大规模并行计算和高效互联方面的突破。Palomar 光路开关芯片的开发，利用 MEMS 技术，进一步降低了系统延迟和功耗，同时减少了网络成本。</li>
<li>第五代TPU，2023年，谷歌在发布多模态大模型Gemini的同时，推出了全新的面向云端AI加速的TPU v5p ，（云张量处理单元）。</li>
<li>第六代TPU，2024年5月，Alphabet首席执行官桑达尔·皮查伊（Sundar Pichai）发布了第六代TPU，与 TPU v5e 相比，Trillium TPU 的能源效率高出<strong> 67%</strong> 以上。Trillium 可以在单个高带宽、低延迟 Pod 中扩展到多达 256 个 TPU。</li>
</ul>
页:
[1]