【《人工智能实践教程》测评】神经网络
# 【《人工智能实践教程》测评】神经网络### 神经网络概述
人工智能的一个子领域
神经网络：一种以（人工）神经元为基本单元的模型
深度学习：一类机器学习问题，主要解决贡献度分配问题。
### 概括
### 预备知识
- 线性代数
- 微积分
- 数学优化
- 概率论
- 信息论
### 人工智能
- 人工智能（artificial intelligence，AI）就是让机器具有人类的智能。
- “计算机控制”+“智能行为”
- 人工智能这个学科的诞生有着明确的标志性事件，就是1956年的达特茅斯（Dartmouth）会议。在这次会议上，“人工智能”被提出并作为本研究领域的名称。
### 图灵测试
“一个人在不接触对方的情况下，通过一种特殊的方式，和对方进行一系列的问答。如果在相当长时间内，他无法根据这些问题判断对方是人还是计算机，那么就可以认为这个计算机是智能的”。
—— Alan Turing 《Computing Machinery and Intelligence》
### 人工智能的研究领域
- 让机器具有人类的智能
- 机器感知（计算机视觉、语音信息处理）
- 学习（模式识别、机器学习、强化学习）
- 语言（自然语言处理）
- 记忆（知识表示）
- 决策（规划、数据挖掘）
### 发展历史
### 芒果机器学习
- 从市场上随机选取的芒果样本（训练数据），列出每个芒果的所有特征：
- 如颜色，大小，形状，产地，品牌
- 以及芒果质量（输出变量）：
- 甜蜜，多汁，成熟度。
- 设计一个学习算法来学习芒果的特征与输出变量之间的相关性模型。
- 下次从市场上买芒果时，可以根据芒果（测试数据）的特征，使用前面计算的模型来预测芒果的质量。
如何开发一个人工智能系统？
### 深度学习
#### 机器学习
当我们用机器学习来解决一些模式识别任务时，一般的流程包含以下几个步骤：
浅层学习（Shallow Learning）：不涉及特征学习，其特征主要靠人工经验或特征转换方法来抽取。
#### 语义鸿沟：人工智能的挑战之一
- 底层特征 VS 高层语义
- 人们对文本、图像的理解无法从字符串或者图像的底层特征直接获得
- 表示学习
- 数据表示是机器学习的核心问题。
- 特征工程：需要借助人类智能
- 表示学习
- 如何自动从数据中学习好的表示
- 难点
- 没有明确的目标
#### 什么是好的数据表示？
“好的表示”是一个非常主观的概念，没有一个明确的标准。
但一般而言，一个好的表示具有以下几个优点：
- 应该具有很强的表示能力。
- 应该使后续的学习任务变得简单。
- 应该具有一般性，是任务或领域独立的。
### 语义表示
如何在计算机中表示语义？
局部（符号）表示（知识库、规则）到
分布式表示（嵌入：压缩、低维、稠密向量）
### 表示形式
- 局部表示
- 离散表示、符号表示
- One-Hot向量
- 分布式(distributed)表示
- 压缩、低维、稠密向量
### 词嵌入（Word Embeddings）
### 表示学习与深度学习
一个好的表示学习策略必须具备一定的深度
- 特征重用
- 指数级的表示能力
- 抽象表示与不变性
- 抽象表示需要多步的构造
### 传统的特征提取
- 特征提取
- 线性投影（子空间）
- PCA、LDA
- 非线性嵌入
- LLE、Isomap、谱方法
- 自编码器
- 特征提取VS表示学习
- 特征提取：基于任务或先验对去除无用特征
- 表示学习：通过深度模型学习高层语义特征
### 深度学习
通过构建具有一定“深度”的模型，可以让模型来自动学习好的特征表示（从底层特征，到中层特征，再到高层特征），从而最终提升预测或识别的准确性。
### 神经网络
如何学习？
赫布法则 Hebb's Rule
“当神经元 A的一个轴突和神经元B很近，足以对它产生影响，并且持续地、重复地参与了对神经元B的兴奋，那么在这两个神经元或其中之一会发生某种生长过程或新陈代谢变化，以致于神经元A作为能使神经元B兴奋的细胞之一，它的效能加强了。”
——加拿大心理学家Donald Hebb，《行为的组织》，1949
1. 人脑有两种记忆：长期记忆和短期记忆。短期记忆持续时间不超过一分钟。
2. 如果一个经验重复足够的次数，此经验就可储存在长期记忆中；
3. 短期记忆转化为长期记忆的过程就称为凝固作用；
4. 人脑中的海马区为大脑结构凝固作用的核心区域。
### 人工神经元
### 人工神经网络
- 人工神经网络主要由大量的神经元以及它们之间的有向连接构成。因此考虑三方面：
- 神经元的激活规则
- 主要是指神经元输入到输出之间的映射关系，一般为非线性函数。
- 网络的拓扑结构
- 不同神经元之间的连接关系。
- 学习算法
- 通过训练数据来学习神经网络的参数。
- 人工神经网络由神经元模型构成，这种由许多神经元组成的信息处理网络具有并行分布结构。
- 虽然这里将 神经网络结构大体上分为三种类型，但是大多数网络都是复合型结构，即一个神经网络中包括多种网络结构。
### 神经网络
### 常用的深度学习框架
1. 简易和快速的原型设计
2. 自动梯度计算
3. 无缝CPU和GPU切换
<p>流程图画的真是不错</p>
<div class="quote">
<blockquote><font size="2"><a href="forum.php?mod=redirect&goto=findpost&pid=3377211&ptid=1300201" target="_blank"><font color="#999999">Jacktang 发表于 2024-11-27 07:31</font></a></font> 流程图画的真是不错</blockquote>
</div>
<p>是的，这本书有很多内容是通过流程和框架图进行展示的，非常便于读者掌握章节的整体布局</p>
页:
[1]