什么是饱和函数

饱和函数:

当一个函数既满足右饱和，又满足左饱和，则称为饱和函数，否则称为非饱和函数。

常用的饱和激活函数和非饱和激活函数：

饱和激活函数有如Sigmoid和tanh，非饱和激活函数有ReLU相较于饱和激活函数，非饱和激活函数可以解决“梯度消失”的问题，加快收敛。