《深度学习的数学——使用Python语言》第4章统计学学习

常见泽1 发表于 2024-12-30 18:25

第四章统计学初步学习

 

统计量是根据样本计算的一个数值，用于衡量样本某一方面的特征，在深度学习中，当提到样本时，通常指的是数据集。

 

在计算中位数的时候，二等分。

 

分位数和箱型图

 

通过模拟得到了一组考试数据，其中包含1000个考试分数，数据位于文件exams.npy中，我们将使Numpy计算分位数，并在直方图上标记位数的位置

 

首先加载了考试数据，并把第一个考试分数保存在p.

<pre>
<code>d = np.load("exams.npy")
p = d[:,0].astype("uint32")
q = np.quantile(p, )

print()
print("Quartiles: ", q)
print()
print("Counts by quartile:")
print(" %d" % ((q <= p) & (p < q)).sum())
print(" %d" % ((q <= p) & (p < q)).sum())
print(" %d" % ((q <= p) & (p < q)).sum())
print(" %d" % ((q <= p) & (p < q)).sum())
print()</code></pre>

 

统计了数组p在各个区间的取值个数，由于总共有1000个值，因此我们预期每个区间应该有250个值，结果如下

 

说明有250个值小于56.75， 237个值落在56.75到68上，其它类似

 

用exams.npy中的三轮考试分数绘制箱型图，执行以下代码

<pre>
<code>h = np.bincount(p, minlength=100)
x = np.arange(101)
plt.bar(x,h, width=0.8*(x-x))
n = 1.1*h.max()
plt.plot(,q],, linewidth=3, color='k')
plt.plot(,q],, linewidth=3, color='k')
plt.plot(,q],, linewidth=3, color='k')
plt.xlim((p.min()-1,p.max()+1))
plt.ylabel("Count")
plt.tight_layout(pad=0,w_pad=0,h_pad=0)
plt.savefig("quantiles_plot.png", dpi=300)
#plt.show()
plt.close()</code></pre>

 

箱型图可以告诉我们数据集与正态分布的相似程度。

  

 

import matplotlib.pylab as plt

在Python中，matplotlib是一个非常流行的数据可视化库。它提供了丰富的绘图功能，可以帮助我们轻松地创建各种类型的图表，如折线图、柱状图、散点图等。在matplotlib库中，pyplot模块是最常用也是最基本的绘图模块。要导入matplotlib.pyplot模块，并为其设置别名plt。

 

箱型图能够可视化的对数据进行概括。

中间橙色的是中位数Q2，上下分别为Q3和Q1，Q3和Q1数值差称为四分差IQR。

IQR越大，围绕中位数的数据越发散。

相比直方图，现在箱型图中的纵轴对应考试分数。

中位数Q2被标记在靠近箱型框中间的位置。

ew123 发表于 2024-12-31 10:06

没有公式，只有代码，感谢楼主的分享！让我等又学习了一把。

页: [1]

电子工程世界-论坛's Archiver

《深度学习的数学——使用Python语言》第4章 统计学学习

《深度学习的数学——使用Python语言》第4章统计学学习