《深度学习的数学——使用Python语言》5、概率论进阶

lugl4313820

《深度学习的数学——使用Python语言》5、概率论进阶 [复制链接]

 

上章介绍了概率论的基础概念。第3章为概率论进阶。

作者提到，深度学习和机器学习中有两个常见的关键话题：概率分布与采样，以及贝叶斯定理。其中叶斯定量是概率论中最为重要的概念之一，它改变了概率领域很多研究者的思维范式，并深记得影响了概率论的实际应用。

【概率分布】

概率分布可以理解为生成所需数值的一个函数。数值生成过程中是随机的——我们不知道会出现哪个结果——但是任意数值出现的可能都遵循一般形式。

深度学习中主要用一对概率分布进行采样的地方，就是训练之前对网络参数进行初始化。目前主流的神经网络都用均匀分布或正态分布对参数中的权重项（有时也对偏置项）进行初始化。

文中用NumPy进行随机生成的例子：

>>> n = np.random.randint(0,10,10000)
>>> h = np.bincount(n)
>>> h
array([ 965, 1012, 1050,  974,  996,  987, 1018,  969,  999, 1030])

从上面的结果看，0-9的整组计算分组计算的结果，随机分布计数统计。然后使用如下代码进行概率的计算：

array([0.0965, 0.1012, 0.105 , 0.0974, 0.0996, 0.0987, 0.1018, 0.0969,
       0.0999, 0.103 ])
>>> 

结果表明整数0-9在数组n中出现的概率确实接近0.1或者是十分之一。