Gradientnedstigning

Introduktion till djupinlärning i Python

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

Gradientnedstigning

Gradientnedstigning

Gradientnedstigning

Gradientnedstigning

Gradientnedstigning

Gradientnedstigning

Gradientnedstigning

Gradientnedstigning

Gradientnedstigning

Gradientnedstigning

Gradientnedstigning

Gradientnedstigning

• Om lutningen är positiv:
  • Att gå mot lutningens riktning innebär att röra sig mot lägre värden
  • Subtrahera lutningen från det aktuella värdet
  • Ett för stort steg kan ge fel resultat
• Lösning: inlärningshastighet
  • Uppdatera varje vikt genom att subtrahera inlärningshastighet * lutning

Exempel på lutningsberäkning

• För att beräkna lutningen för en vikt behöver man multiplicera:
  • Förlustfunktionens lutning med avseende på värdet i den nod vi matar in i
  • Värdet i den nod som matar in i vikten
  • Aktiveringsfunktionens lutning med avseende på det värde vi matar in

Exempel på lutningsberäkning

• För att beräkna lutningen för en vikt behöver man multiplicera:
  • Förlustfunktionens lutning med avseende på värdet i den nod vi matar in i
  • Värdet i den nod som matar in i vikten
  • Aktiveringsfunktionens lutning med avseende på det värde vi matar in

Exempel på lutningsberäkning

• Medelkvadratförlustfunktionens lutning med avseende på prediktionen:
  • 2 (Predikterat värde - Verkligt värde) = 2 Fel
  • 2 * -4

Exempel på lutningsberäkning

• För att beräkna lutningen för en vikt behöver man multiplicera:
  • Förlustfunktionens lutning med avseende på värdet i den nod vi matar in i
  • Värdet i den nod som matar in i vikten
  • Aktiveringsfunktionens lutning med avseende på det värde vi matar in

Exempel på lutningsberäkning

• För att beräkna lutningen för en vikt behöver man multiplicera:
  • Förlustfunktionens lutning med avseende på värdet i den nod vi matar in i
  • Värdet i den nod som matar in i vikten
  • Aktiveringsfunktionens lutning med avseende på det värde vi matar in

Exempel på lutningsberäkning

• För att beräkna lutningen för en vikt behöver man multiplicera:
  • Förlustfunktionens lutning med avseende på värdet i den nod vi matar in i
  • Värdet i den nod som matar in i vikten
  • Aktiveringsfunktionens lutning med avseende på det värde vi matar in

Exempel på lutningsberäkning

• För att beräkna lutningen för en vikt behöver man multiplicera:
  • Förlustfunktionens lutning med avseende på värdet i den nod vi matar in i
  • Värdet i den nod som matar in i vikten
  • Aktiveringsfunktionens lutning med avseende på det värde vi matar in

Exempel på lutningsberäkning

• 2 * -4 * 3
• -24
• Om inlärningshastigheten är 0.01 blir den nya vikten
• 2 - 0.01(-24) = 2.24

Nätverk med två ingångar som påverkar prediktionen

Kod för att beräkna lutningar och uppdatera vikter

import numpy as np
weights = np.array([1, 2])
input_data = np.array([3, 4])
target = 6
learning_rate = 0.01
preds = (weights * input_data).sum()
error = preds - target

print(error)

5

Kod för att beräkna lutningar och uppdatera vikter

gradient = 2 * input_data * error

gradient

array([30, 40])

weights_updated = weights - learning_rate * gradient
preds_updated = (weights_updated * input_data).sum()
error_updated = preds_updated - target

print(error_updated)

2.5

Nu kör vi en övning!

Introduktion till djupinlärning i Python