Funcții de activare ReLU

Introducere în Deep Learning cu PyTorch

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Funcțiile sigmoid și softmax

$$

  • SIGMOID pentru clasificare BINARĂ

O rețea neuronală cu funcția sigmoid

$$

  • SOFTMAX pentru clasificare MULTI-CLASĂ

O rețea neuronală cu funcția softmax

Introducere în Deep Learning cu PyTorch

Limitări ale funcțiilor sigmoid și softmax

Funcția sigmoid:

  • Ieșiri delimitate între 0 și 1
  • Utilizabilă oriunde în rețea

Gradienți:

  • Foarte mici pentru valori mari și mici ale lui x
  • Cauzează saturație, ducând la problema gradienților dispăruți

$$

Funcția softmax suferă de asemenea de saturație

Funcția sigmoid

Introducere în Deep Learning cu PyTorch

ReLU

Unitatea Liniară Rectificată (ReLU):

  • f(x) = max(x, 0)
  • Pentru intrări pozitive: ieșirea este egală cu intrarea
  • Pentru intrări negative: ieșirea este 0
  • Ajută la depășirea gradienților dispăruți

$$

În PyTorch:

relu = nn.ReLU()

Funcția ReLU

Introducere în Deep Learning cu PyTorch

Leaky ReLU

Leaky ReLU:

  • Intrările pozitive se comportă ca ReLU
  • Intrările negative sunt scalate cu un coeficient mic (implicit 0.01)
  • Gradienții pentru intrările negative sunt nenuli

$$

În PyTorch:

leaky_relu = nn.LeakyReLU(
  negative_slope = 0.05)

Leaky ReLU

Introducere în Deep Learning cu PyTorch

Să exersăm!

Introducere în Deep Learning cu PyTorch

Preparing Video For Download...