《机器学习算法与实现 —— Python编程与应用实例》-- 第五贴 神经网络学习与感悟
<p><b>引言：</b></p><p><b>本贴主要分享7~9章节相关的内容。</b></p>
<p>本书第七章讲解了神经网络的相关知识。从神经网络的发展讲述到神经网络的实现，完整叙述了神经网络的基础理论和引用。人工神经网络(Artificial Neural Networks, ANNs), 简称神经网络（NN）；神经网络是目前最为火热的人工智能的重要技术支撑。神经网络的灵感来源于人类大脑中的神经元，神经元通过突出连接，从而通过不同强度的生物电信号，来实现人类的思维活动。当前的神经网络只是类人脑神经元工作模式。第八章讲解了PyTorch框架的使用，这是一个比较受大家欢迎的深度学习框架，还有tensorflow等。第九章，讲解了深度卷积神经网络。</p>
<p> </p>
<p><b>从感知机到多层神经网络</b></p>
<p><b>感知机</b>是一种单层的模拟大脑神经元工作的网络结构。</p>
<p> </p>
<p> </p>
<p><b>多层神经网络</b>是多层神经元通过一定形式连接在一起的网络结构，单层神经网络只能处理较为简单的问题，解决复杂的识别问题时常常表现不佳。</p>
<p>神经元和感知器本质上是一样的，感知器的激活函数通常是阶跃函数；激活函数可以理解为该神经元达到什么情况下才能输出信号。也就是激活该神经元。而神经元的激活函数通常为sigmoid函数或者tanh函数，选择这两个函数的根本原因，在于多层神经网络算法实施过程中训练时，通常需要求导数。而阶跃函数是不连续的函数，在0处不可导，计算起来不方便。</p>
<p> </p>
<p>本章节从基本模型讲起，通过公式表述，将如何模型化神经网络，如何用数学公式表述以及求解多层神经网络讲述的比较清楚，同时讲解了如何通过python来进行多层神经网络的训练。</p>
<p>随着人工智能的兴起，各种神经网络架构被设计出来，用于解决物品分类，对话，自动文本生成，图像生成等技术中。神经网络越来越复杂，深度神经网络以其优异的性能，逐步崭露头角。很多时候，我们不得不借助一些成熟框架，来调用一些比较成熟的网络模型。但是，如果能够真正从数学理论，实现上理解神经网络的设计和实现过程，那必然会对应用神经网络，以及设计新的人工网络奠定强有力的基础。</p>
<p> </p>
<p>演变到今日，深度神经网络的发展，使得人们认识到算力成为了人工智能发展的瓶颈。在单位时间内，如何用最少的能源实现更高的算力成为了关键。英伟达抓住了历史机遇，以GPU为契机，逐步抓住人工智能革命的浪潮，成为引领当前人类人工智能发展的科技巨头。</p>
<p> </p>
<p><b>深度学习框架：</b></p>
<p>深度学习一般遵循通用的开发模式：定义损失函数、求导、权重更新和数据拟合。深度学习网络的层数较多，手工编写代码效率较低，所以研究人员开发一种编程架构来简化程序的编写。Tensor(张量)相关的计算、自动求导、以及一些常用的人工智能模型调用接口。这些将极大方便开发者。</p>
<p> </p>
<p><b>深度学习以及深度神经网络：</b></p>
<p>深度学习模型：卷积、深度置信和递归。卷积深度神经网络通常包括卷积层、池化层、全连接层。</p>
<p>卷积的概念其实很简单，就是矩阵成法。池化也成为下采样，目的是减小特征图的尺寸，选取较为有用的信息，通常有取平均值，取最大值等。</p>
<p>CNN训练之前，通常需要进行归一化，比如图像要都归一化为200X200大小，归一化也要有一定的要求，否则会丢失图片原有的信息，造成推理或者训练的偏差。</p>
<p> </p>
<p>本书讲解了几个常用的深度神经网络，比如AlexNex，VGG, GooLeNet， Resnet, DenseNet等。</p>
<p> </p>
<p><b>浅谈中美人工智能之间的差距</b></p>
<p>最根本的差距人才差距 -- 教育、人才数量、数学、材料、物理、工程差距依然很大</p>
<p>半导体设计/生产上的差距 -- 从顶尖芯片设计/制造公司的数量和质量上看，相差极大</p>
<p>计算机软硬件之间的差距 -- 从底层到外设，差距不可谓不大</p>
<p>数学理论上的差距 -- 这个差距说实话，我不太能感知到</p>
<p>其他差距 – 欢迎大家探讨</p>
<p><b>对中国人工智能行业发展的几点意见</b></p>
<p>1.人才是根本，教育是基础；</p>
<p>2.长久投入，长期主义；中国的人工智能不出意外，最先实现盈利的仍然是应用层面的公司，比如月之暗面和一大批互联网巨头；而AI基础设施，比如服务器组装厂也会在AI浪潮中分一杯羹。但是，AI芯片设计公司，可能并不会一帆风顺，相反可能很长一段时间内由于缺乏真正的技术创新，而无法跟上全球AI发展的步伐。</p>
<p>3.国家层面，应当尽快补足芯片制造的短板，并且建立国家层面的基础IP共享平台，免费或者以低廉的价格给到学生以及初创企业使用，避免国家投资都在重复的造轮子，或者大量的资金都流向了头部的EDA公司或者IP授权商那里。</p>
<p> </p>
<p><b>些许感悟：</b></p>
<p>怎么说呢，世界发展浪潮浩浩荡荡，其实人工智能只是计算机技术发展到一定阶段所产生的附加技术，其实质上还是建立在第三次工业革命技术的基础上。我觉得人工智能并不能根本上改变人类发展的方向。新材料的发现、基础理论的突破，才是人类未来能否突破现有生产力瓶颈的根本因素。这必将花费人类上百年或者上千年的时间… 但不知那时，人类是否还存在，但你我终将无法看见了..</p>
<p> </p>
<p>不得不说open AI将死气沉沉的人工智能再一次重塑金身，这将是人类发展史上的一次新的契机，借助人工智能，人类必将能走向更远的未来..</p>
<p> </p>
<p> </p>
<p> </p>
<p> </p>
<p> </p>
<p>神经网络是个神秘的东西，就是不知道怎么学习和感悟了</p>
<p> </p>
Jacktang 发表于 2024-8-5 07:21
神经网络是个神秘的东西，就是不知道怎么学习和感悟了
<p>其实 并不神秘，有很多教材 都讲的比较好； 实质上 就是通过模仿神经元工作原理，然后加上数学一些思想，讲物理世界的数据通过卷积(这个也不不是很难) 抽离出来一些特征，通过大数据来不断强化神经元的连接(锁定权重)，这便是训练的过程；等训练完了，推理过程就是一样的概念； 这玩意比人脑差远了，人脑可以自主进行训练学习，边学边推理，可以形成自主思想；而人工智能，从理论上讲，根本不可能产生新的思想，更多的是大数据的产物，从目前来看，也就是更为智能的专用计算机，替代人类，恐怕看看不到一点希望。。</p>
页:
[1]