一起读《动手学深度学习（PyTorch版）》- 多层感知机 - 激活函数

LitchiCheng

一起读《动手学深度学习（PyTorch版）》- 多层感知机 - 激活函数 [复制链接]

 

多层感知机，隐藏层和输出层之间的全连接层如果全部是线性相关的话，那么多层感知机可以等价于单层感知机，因为线性关系的堆积仍然是线性的。激活函数的作用在于引入非线性因素，防止多层感知机退化为线性模型。

 

ReLU激活函数（Rectified linrear unit）

负数时导数为0，正数时导数为1

import torch
import torchvision
from torch.utils import data
from torchvision import transforms
import matplotlib.pyplot as plt
from torch import nn 

x = torch.arange(-8.0, 8.0, 0.1, requires_grad=True)
y = torch.relu(x)
plt.plot(x.detach(), y.detach(), 'x', 'relu(x)')
plt.show()

 

y.backward(torch.ones_like(x), retain_graph=True)
plt.plot(x.detach(), x.grad, 'x', 'grad of relu')

 

sigmoid（squashing function）

sigmoid函数，将输入变换为区间(0, 1)上的输出，通常称为挤压函数（squashing function），低于0就是0，高于1就是1

当输入接近0时，sigmoid函数接近线性变换

import torch
import torchvision
from torch.utils import data
from torchvision import transforms
import matplotlib.pyplot as plt
from torch import nn 



if torch.cuda.is_available():
    device = torch.device("cuda")

x = torch.arange(-8.0, 8.0, 0.1, requires_grad=True, device=device)
y = torch.sigmoid(x)
y=y.to(device)
plt.plot(x.to("cpu").detach(), y.to("cpu").detach(), '.', 'sigmoid(x)')
plt.show()

 

tanh(双曲正切)

-1,1的范围

 

chejm

楼主分享的技术内容值得收藏学习，希望楼主继续分享更多内容

Jacktang

防止多层感知机退化为线性模型这个有点难度

秦天qintian0303

激活函数对于多层感知机来说是不是就相当于中断，打破多层界限？

LitchiCheng

秦天qintian0303 发表于 2024-10-24 08:37 激活函数对于多层感知机来说是不是就相当于中断，打破多层界限？

不是

LitchiCheng

chejm 发表于 2024-10-23 23:54 楼主分享的技术内容值得收藏学习，希望楼主继续分享更多内容

好的