【《人工智能实践教程》测评】卷积神经网络

lijinlei · 发表于2024-11-26 18:07

【《人工智能实践教程》测评】卷积神经网络 [复制链接]

# 【《人工智能实践教程》测评】卷积神经网络

### 全连接前馈神经网络

- 权重矩阵的参数非常多

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_865071_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>algorithm.png</strong> <em class="xg1">(26.24 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_865071" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=865071&handlekey=savephoto_865071">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

- 局部不变性特征

- 自然图像中的物体都具有局部不变性特征
  - 尺度缩放、平移、旋转等操作不影响其语义信息。
- 全连接前馈网络很难提取这些局部不变特征

### 卷积神经网络

- 卷积神经网络（Convolutional Neural Networks，CNN）
- 一种前馈神经网络
- 受生物学上感受野（Receptive Field）的机制而提出的
  - 在视觉神经系统中，一个神经元的感受野是指视网膜上的特定区域，只有这个区域内的刺激才能够激活该神经元。
- 卷积神经网络有三个结构上的特性：
- 局部连接
- 权重共享
- 空间或时间上的次采样

### 卷积

- 卷积经常用在信号处理中，用于计算信号的延迟累积。
- 假设一个信号发生器每个时刻t产生一个信号xt ，其信息的衰减率为wk ，即在k−1个时间步长后，信息为原来的wk 倍
- 假设w1 = 1,w2 = 1/2,w3 = 1/4
- 时刻t收到的信号yt 为当前时刻产生的信息和以前时刻延迟信息的叠加。

### 卷积类型

- 卷积的结果按输出长度不同可以分为三类：
- 窄卷积：步长 � = 1 ，两端不补零 � = 0 ，卷积后输出长度为 � − � + 1
- 宽卷积：步长 � = 1 ，两端补零 � = � − 1 ，卷积后输出长度 � + � − 1
- 等宽卷积：步长 � = 1 ，两端补零 � =(� − 1)/2 ，卷积后输出长度 �
- 在早期的文献中，卷积一般默认为窄卷积。
- 而目前的文献中，卷积一般默认为等宽卷积。

### 两维卷积

在图像处理中，图像是以二维矩阵的形式输入到神经网络中，因此我们需要二维卷积。

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_865070_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>2D_algor.png</strong> <em class="xg1">(18.97 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_865070" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=865070&handlekey=savephoto_865070">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

### 卷积神经网络

用卷积层代替全连接层

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_865069_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>algor_net.png</strong> <em class="xg1">(52.59 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_865069" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=865069&handlekey=savephoto_865069">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

### 互相关

- 计算卷积需要进行卷积核翻转。
- 卷积操作的目标：提取特征。
- 翻转是不必要的！
- 互相关

### 多个卷积核

- 特征映射（Feature Map）：图像经过卷积后得到的特征。
- 卷积核看成一个特征提取器
- 卷积层
- 输入：D个特征映射 M × N × D
- 输出：P个特征映射 M′ × N′ × P

### 汇聚层

- 卷积层虽然可以显著减少连接的个数，但是每一个特征映射的神经元个数并没有显著减少

### 卷积网络结构

- 卷积网络是由卷积层、汇聚层、全连接层交叉堆叠而成。
- 趋向于小卷积、大深度
- 趋向于全卷积

## 其他卷积

### 转置卷积/微步卷积

低维特征映射到高维特征

### 空洞卷积

- 如何增加输出单元的感受野
- 增加卷积核的大小
- 增加层数来实现
- 在卷积之前进行汇聚操作
- 空洞卷积
- 通过给卷积核插入“空洞”来变相地增加其大小。

## 典型卷积网络

### LeNet-5

- LeNet-5 是一个非常成功的神经网络模型。
- 基于 LeNet-5 的手写数字识别系统在 90 年代被美国很多银行使用，用来识别支票上面的手写数字。
- LeNet-5 共有 7 层。

### AlexNet

- 2012 ILSVRC winner
- （top 5 error of 16% compared to runner-up with 26% error）
- 第一个现代深度卷积网络模型
  - 首次使用了很多现代深度卷积网络的一些技术方法
  - 使用GPU进行并行训练，采用了ReLU作为非线性激活函数，使用Dropout防止过拟合，使用数据增强
- 5个卷积层、3个汇聚层和3个全连接层

### Inception网络

- 2014 ILSVRC winner （22层）
- 参数：GoogLeNet：4M VS AlexNet：60M
- 错误率：6.7%
- Inception网络是由有多个inception模块和少量的汇聚层堆叠而成。

### Inception模块 v1

- 在卷积网络中，如何设置卷积层的卷积核大小是一个十分关键的问题。
- 在Inception网络中，一个卷积层包含多个不同大小的卷积操作，称为Inception模块。
- Inception模块同时使用1 × 1、3 × 3、5 × 5等不同大小的卷积核，并将得到的特征映射在深度上拼接（堆叠）起来作为输出特征映射。

### Inception模块 v3

- 用多层的小卷积核来替换大的卷积核，以减少计算量和参数量。
- 使用两层3x3的卷积来替换v1中的5x5的卷积
- 使用连续的nx1和1xn来替换nxn的卷积。

### 残差网络

- 残差网络（Residual Network，ResNet）是通过给非线性的卷积层增加直连边的方式来提高信息的传播效率。
- 假设在一个深度网络中，我们期望一个非线性单元（可以为一层或多层的卷积层）f(x,θ)去逼近一个目标函数为h(x)。
- 将目标函数拆分成两部分：恒等函数和残差函数

### ResNet

- 2015 ILSVRC winner （152层）
- 错误率：3.57%

## 卷积的应用

### AlphaGo

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_865068_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>alphago.png</strong> <em class="xg1">(65.65 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_865068" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=865068&handlekey=savephoto_865068">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

- 分布式系统：1202 个CPU 和176 块GPU
- 单机版：48 个CPU 和8 块GPU
- 走子速度：3 毫秒-2 微秒

### 目标检测（Object Detection）

### Mask RCNN

实例分割算法

<ignore_js_op>

<div class="tip tip_4 aimg_tip" id="aimg_865067_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>MaskRCNN.png</strong> <em class="xg1">(59.7 KB, 下载次数: 0)</em></p>
<p>
<a href="javascript:;" class="loginf" >下载附件</a>

<a href="javascript:;" onclick="showWindow(this.id, this.getAttribute('url'), 'get', 0);" id="savephoto_865067" url="home.php?mod=spacecp&ac=album&op=saveforumphoto&aid=865067&handlekey=savephoto_865067">保存到相册</a>

</p>

</div>
<div class="tip_horn"></div>
</div>

</ignore_js_op>

### OCR

### 图像生成

### Deep Dream

### 画风迁移

### 对抗样本

Jacktang · 发表于2024-11-27 07:30

单机版是48 个CPU 和8 块GPU，占的资源也挺多的

lijinlei

Jacktang 发表于 2024-11-27 07:30 单机版是48 个CPU 和8 块GPU，占的资源也挺多的

AlphaGO部署于TPU，自发布至今，TPU技术已经经历了多代的演化和升级。

第一代TPU，被应用到AlphaGo上，在2015年和李世英对战时，就是部署了48个TPU。
第二代TPU，它被引入了Google Cloud，应用在谷歌计算引擎（Google Compute Engine ，简称GCE）中，也称为Cloud TPU。配置了TPU v2的AlphaGo，仅用了4块TPUv2，便击败当时的世界围棋冠军柯洁。
第三代TPU，（2018年）性能提升到第二代的2倍。每个Pod的性能提高了8倍，且每个pod最多可含1024个芯片。
第四代TPU，2021年。采用 7nm 工艺，翻倍的 MXU 数量，以及显著增加的内存容量和带宽，实现了性能的大幅提升。引入 Sparse Core ，针对稀疏计算进行了优化，使得 TPU v4 在处理深度学习中的 Embedding 层时更加高效。3D Torus 互联方式以及 TPU v4 Pod 的构建，展示了谷歌在大规模并行计算和高效互联方面的突破。Palomar 光路开关芯片的开发，利用 MEMS 技术，进一步降低了系统延迟和功耗，同时减少了网络成本。
第五代TPU，2023年，谷歌在发布多模态大模型Gemini的同时，推出了全新的面向云端AI加速的TPU v5p ，（云张量处理单元）。
第六代TPU，2024年5月，Alphabet首席执行官桑达尔·皮查伊（Sundar Pichai）发布了第六代TPU，与 TPU v5e 相比，Trillium TPU 的能源效率高出 67% 以上。Trillium 可以在单个高带宽、低延迟 Pod 中扩展到多达 256 个 TPU。

【《人工智能实践教程》测评】卷积神经网络 [复制链接]

最新回复

点评

浏览过的版块