ReLU

Funkcja ReLU, prostowana jednostka liniowa (ang. rectified linear unit), jednostronnie obcięta funkcja liniowa – funkcja aktywacji zdefiniowana jako nieujemna część jej argumentu:

$\operatorname {ReLU} (x)=x^{+}=\max(0,x)={\frac {x+|x|}{2}}=\left\{{\begin{matrix}0&{\text{dla}}&x<0\\x&{\text{dla}}&x\geqslant 0\end{matrix}}\right.$

Wykres ReLU w pobliżu x = 0

ReLU jest jedną z najpopularniejszych funkcji aktywacji sztucznych sieci neuronowych i znajduje zastosowanie w komputerowym widzeniu przy użyciu głębokich sieci neuronowych.

Zaletą ReLU jest lepsza propagacja gradientu i mniej problemów z zanikającym gradientem w porównaniu z funkcją sigmoidalną.

Zobacz też

• Funkcja softmax