Vanishing & Exploding Gradient Problem & Dying ReLU Problem

发布日期： 2024-11-18 阅读量： 作者： ADMIN

vanishing & exploding gradient problem & dying relu problem

请我喝杯咖啡☕

*备忘录：

是在反向传播过程中，梯度越来越小或者为零，从输出层到输入层多次将小梯度相乘，则模型无法有效训练。
模型中层数越多，更容易发生。
很容易由Sigmoid激活函数引起，即PyTorch中的Sigmoid()，因为它会产生范围为0
发生在：
- CNN（卷积神经网络）.
- RNN(循环神经网络) 是 PyTorch 中的 RNN()。
不容易发生在：
- LSTM（长短期记忆） 即 PyTorch 中的 LSTM()。
- GRU（门控循环单元） 即 PyTorch 中的 GRU()。
- Resnet（残差神经网络），即 PyTorch 中的 Resnet。
- Transformer 是 PyTorch 中的 Transformer()。
- 等等
在以下情况下可以被检测到：
- 靠近输出层的层参数显着变化，而靠近输入层的层参数略有变化或保持不变。
- 输入层附近各层的权重接近0或变为0。
- 收敛缓慢或停止。
可以通过以下方式缓解：
- 批量归一化层，即 PyTorch 中的 BatchNorm1d()、BatchNorm2d() 或 BatchNorm3d()。
- Leaky ReLU 激活函数，即 PyTorch 中的 LeakyReLU()。 *您还可以使用 ReLU 激活函数，即 PyTorch 中的 ReLU()，但它有时会导致 Dying ReLU Problem，我稍后会解释。
- PReLU 激活函数，即 PyTorch 中的 PReLU()。
- ELU 激活函数 即 PyTorch 中的 ELU()。
- 梯度裁剪，即PyTorch中的clip_grad_norm_()或clip_grad_value_()。 *渐变裁剪是将渐变保持在指定范围内的方法。

在反向传播过程中，一旦具有ReLU激活函数的节点（神经元）接收到零或负输入值，它们总是为任何输入值产生零，最后，它们永远不会恢复产生任何值，除了为零，则无法有效训练模型。
也称为Dead ReLU问题。
更容易发生在：
- 更高的学习率。
- 更高的负面偏见。
在以下情况下可以被检测到：
- 收敛缓慢或停止。
- 损失函数返回 nan。
可以通过以下方式缓解：
- 较低的学习率。
- 积极的偏见。
- Leaky ReLU 激活函数.
- PReLU 激活函数.
- ELU 激活函数.

以上就是Vanishing & Exploding Gradient Problem & Dying ReLU Problem的详细内容，更多请关注其它相关文章！

Vanishing &amp; Exploding Gradient Problem &amp; Dying ReLU Problem