ReLU-aktiveringsfunktioner

Introduktion till djupinlärning med PyTorch

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Sigmoid- och softmax-funktioner

$$

  • SIGMOID för BINÄR klassificering

Ett neuralt nätverk med sigmoidfunktion

$$

  • SOFTMAX för FLERKLASS-klassificering

Ett neuralt nätverk med softmax-funktion

Introduktion till djupinlärning med PyTorch

Begränsningar hos sigmoid- och softmax-funktionerna

Sigmoid-funktionen:

  • Utdata ligger mellan 0 och 1
  • Kan användas var som helst i ett nätverk

Gradienter:

  • Mycket små för stora och små värden på x
  • Orsakar mättnad, vilket leder till problemet med försvinnande gradienter

$$

Softmax-funktionen drabbas också av mättnad

Sigmoidfunktionen

Introduktion till djupinlärning med PyTorch

ReLU

Rectified Linear Unit (ReLU):

  • f(x) = max(x, 0)
  • För positiva indata: utdata är lika med indata
  • För negativa indata: utdata är 0
  • Hjälper till att motverka försvinnande gradienter

$$

I PyTorch:

relu = nn.ReLU()

ReLU-funktionen

Introduktion till djupinlärning med PyTorch

Leaky ReLU

Leaky ReLU:

  • Positiva indata fungerar som vanlig ReLU
  • Negativa indata skalas med en liten koefficient (standard 0,01)
  • Gradienter för negativa indata är skilda från noll

$$

I PyTorch:

leaky_relu = nn.LeakyReLU(
  negative_slope = 0.05)

Leaky ReLU

Introduktion till djupinlärning med PyTorch

Nu kör vi en övning!

Introduktion till djupinlärning med PyTorch

Preparing Video For Download...