Treinamento em lotes

Introdução ao TensorFlow em Python

Isaiah Hull

Visiting Associate Professor of Finance, BI Norwegian Business School

O que é treinamento em lotes?

Esta imagem mostra dados de preço, tamanho e número de quartos de casas em King County.

Esta imagem mostra dados de preço, tamanho e número de quartos de casas em King County, divididos em lotes.

O parâmetro chunksize

pd.read_csv() permite carregar dados em lotes
- Evita carregar todo o conjunto de dados
- O parâmetro chunksize define o tamanho do lote

# Import pandas and numpy
import pandas as pd
import numpy as np

# Load data in batches
for batch in pd.read_csv('kc_housing.csv', chunksize=100):
    # Extract price column
    price = np.array(batch['price'], np.float32)

    # Extract size column
    size = np.array(batch['size'], np.float32)

Treinando um modelo linear em lotes

# Import tensorflow, pandas, and numpy
import tensorflow as tf
import pandas as pd
import numpy as np

# Define trainable variables
intercept = tf.Variable(0.1, tf.float32)
slope = tf.Variable(0.1, tf.float32)

# Define the model
def linear_regression(intercept, slope, features):
    return intercept + features*slope

Treinando um modelo linear em lotes

# Compute predicted values and return loss function
def loss_function(intercept, slope, targets, features):
    predictions = linear_regression(intercept, slope, features)
    return tf.keras.losses.mse(targets, predictions)

# Define optimization operation
opt = tf.keras.optimizers.Adam()

Treinando um modelo linear em lotes

# Load the data in batches from pandas
for batch in pd.read_csv('kc_housing.csv', chunksize=100):
    # Extract the target and feature columns
    price_batch = np.array(batch['price'], np.float32)
    size_batch = np.array(batch['lot_size'], np.float32)

    # Minimize the loss function
    opt.minimize(lambda: loss_function(intercept, slope, price_batch, size_batch), 
                 var_list=[intercept, slope])

# Print parameter values
print(intercept.numpy(), slope.numpy())

Amostra completa vs. treinamento em lotes

Amostra completa
1. Uma atualização por época
2. Aceita o conjunto de dados sem modificação
3. Limitada pela memória

Treinamento em lotes
1. Várias atualizações por época
2. Requer dividir o conjunto de dados
3. Sem limite de tamanho do conjunto de dados

Vamos praticar!

Introdução ao TensorFlow em Python