Ottimizzatori

Introduzione a TensorFlow in Python

Isaiah Hull

Visiting Associate Professor of Finance, BI Norwegian Business School

Come trovare un minimo

L'immagine mostra il Grand Canyon.

¹ Fonte: U.S. National Park Service

Come trovare un minimo

L'immagine mostra il Grand Canyon.

¹ Fonte: U.S. National Park Service

Come trovare un minimo

L'immagine mostra il Grand Canyon.

¹ Fonte: U.S. National Park Service

La figura mostra il percorso di apprendimento degli ottimizzatori SGD, RMSprop e Adam per un problema semplice.

L'ottimizzatore gradient descent

Ottimizzatore Stochastic gradient descent (SGD)
- tf.keras.optimizers.SGD()
- learning_rate
Semplice e facile da interpretare

L'ottimizzatore RMSprop

Ottimizzatore Root mean squared (RMS) propagation
- Applica tassi di apprendimento diversi a ciascuna feature
- tf.keras.optimizers.RMSprop()
- learning_rate
- momentum
- decay
Consente al momentum di crescere e decadere

L'ottimizzatore Adam

Ottimizzatore Adaptive moment (Adam)
- tf.keras.optimizers.Adam()
- learning_rate
- beta1
Funziona bene con i valori predefiniti

Un esempio completo

import tensorflow as tf

# Define the model function
def model(bias, weights, features = borrower_features):
    product = tf.matmul(features, weights)
    return tf.keras.activations.sigmoid(product+bias)

# Compute the predicted values and loss
def loss_function(bias, weights, targets = default, features = borrower_features):
    predictions = model(bias, weights)
    return tf.keras.losses.binary_crossentropy(targets, predictions)

# Minimize the loss function with RMS propagation
opt = tf.keras.optimizers.RMSprop(learning_rate=0.01, momentum=0.9)
opt.minimize(lambda: loss_function(bias, weights), var_list=[bias, weights])

Esercitiamoci!

Introduzione a TensorFlow in Python