Entraînement par lots

Introduction à TensorFlow en Python

Isaiah Hull

Visiting Associate Professor of Finance, BI Norwegian Business School

Qu'est-ce que l'entraînement par lots ?

Cette image montre les données de prix, de superficie et de nombre de chambres pour des maisons du comté de King.

Cette image montre les mêmes données divisées en lots : prix, superficie et nombre de chambres pour des maisons du comté de King.

Introduction à TensorFlow en Python

Le paramètre chunksize

  • pd.read_csv() permet de charger les données par lots
    • Évite de charger tout le jeu de données
    • Le paramètre chunksize fixe la taille des lots
# Import pandas and numpy
import pandas as pd
import numpy as np

# Load data in batches
for batch in pd.read_csv('kc_housing.csv', chunksize=100):
    # Extract price column
    price = np.array(batch['price'], np.float32)

    # Extract size column
    size = np.array(batch['size'], np.float32)
Introduction à TensorFlow en Python

Entraîner un modèle linéaire par lots

# Import tensorflow, pandas, and numpy
import tensorflow as tf
import pandas as pd
import numpy as np

# Define trainable variables
intercept = tf.Variable(0.1, tf.float32)
slope = tf.Variable(0.1, tf.float32)

# Define the model
def linear_regression(intercept, slope, features):
    return intercept + features*slope
Introduction à TensorFlow en Python

Entraîner un modèle linéaire par lots

# Compute predicted values and return loss function
def loss_function(intercept, slope, targets, features):
    predictions = linear_regression(intercept, slope, features)
    return tf.keras.losses.mse(targets, predictions)

# Define optimization operation
opt = tf.keras.optimizers.Adam()
Introduction à TensorFlow en Python

Entraîner un modèle linéaire par lots

# Load the data in batches from pandas
for batch in pd.read_csv('kc_housing.csv', chunksize=100):
    # Extract the target and feature columns
    price_batch = np.array(batch['price'], np.float32)
    size_batch = np.array(batch['lot_size'], np.float32)

    # Minimize the loss function
    opt.minimize(lambda: loss_function(intercept, slope, price_batch, size_batch), 
                 var_list=[intercept, slope])

# Print parameter values
print(intercept.numpy(), slope.numpy())
Introduction à TensorFlow en Python

Échantillon complet vs entraînement par lots

  • Échantillon complet
    1. Une mise à jour par époque
    2. Accepte le jeu de données tel quel
    3. Limité par la mémoire
  • Entraînement par lots
    1. Mises à jour multiples par époque
    2. Nécessite de diviser le jeu de données
    3. Pas de limite de taille du jeu de données
Introduction à TensorFlow en Python

Passons à la pratique !

Introduction à TensorFlow en Python

Preparing Video For Download...