Funciones de activación ReLU

Introducción al aprendizaje profundo con PyTorch

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Funciones sigmoide y softmax

$$

  • SIGMOID para BINARY clasificación

Una red neuronal con función sigmoide

$$

  • SOFTMAX para clasificación MULTICLASE

Una red neuronal con función softmax

Introducción al aprendizaje profundo con PyTorch

Limitaciones de la función sigmoide y softmax

Función sigmoide:

  • Salidas acotadas entre 0 y 1
  • Utilizable en cualquier punto de una red

Gradientes:

  • Muy pequeño para valores grandes y pequeños de x
  • Provocan la saturación, lo que conduce al problema de desvanecimiento de gradientes

$$

La función softmax también sufre saturación

La función sigmoide

Introducción al aprendizaje profundo con PyTorch

ReLU

Unidad lineal rectificada o Rectified Linear Unit (ReLU):

  • f(x) = max(x, 0)
  • Para entradas positivas: la salida es igual a la entrada
  • Para entradas negativas: la salida es 0
  • Ayuda a superar el desvanecimiento de gradientes

$$

En PyTorch:

relu = nn.ReLU()

Función ReLU

Introducción al aprendizaje profundo con PyTorch

Leaky ReLu

Leaky ReLu:

  • Las entradas positivas se comportan como ReLU
  • Las entradas negativas se escalan con un coeficiente pequeño (por defecto 0,01)
  • Los gradientes de las entradas negativas son distintos de cero

$$

En PyTorch:

leaky_relu = nn.LeakyReLU(
  negative_slope = 0.05)

Leaky ReLu

Introducción al aprendizaje profundo con PyTorch

¡Vamos a practicar!

Introducción al aprendizaje profundo con PyTorch

Preparing Video For Download...