Batchträning

Introduktion till TensorFlow i Python

Isaiah Hull

Visiting Associate Professor of Finance, BI Norwegian Business School

Vad är batchträning?

Bilden visar data för pris, storlek och antal sovrum för hus i King County.

Bilden visar data för pris, storlek och antal sovrum för hus i King County, uppdelat i batchar.

Parametern chunksize

pd.read_csv() låter oss läsa in data i batchar
- Undviker att läsa in hela datamängden på en gång
- Parametern chunksize anger batchstorleken

# Import pandas and numpy
import pandas as pd
import numpy as np

# Load data in batches
for batch in pd.read_csv('kc_housing.csv', chunksize=100):
    # Extract price column
    price = np.array(batch['price'], np.float32)

    # Extract size column
    size = np.array(batch['size'], np.float32)

Träna en linjär modell i batchar

# Import tensorflow, pandas, and numpy
import tensorflow as tf
import pandas as pd
import numpy as np

# Define trainable variables
intercept = tf.Variable(0.1, tf.float32)
slope = tf.Variable(0.1, tf.float32)

# Define the model
def linear_regression(intercept, slope, features):
    return intercept + features*slope

Träna en linjär modell i batchar

# Compute predicted values and return loss function
def loss_function(intercept, slope, targets, features):
    predictions = linear_regression(intercept, slope, features)
    return tf.keras.losses.mse(targets, predictions)

# Define optimization operation
opt = tf.keras.optimizers.Adam()

Träna en linjär modell i batchar

# Load the data in batches from pandas
for batch in pd.read_csv('kc_housing.csv', chunksize=100):
    # Extract the target and feature columns
    price_batch = np.array(batch['price'], np.float32)
    size_batch = np.array(batch['lot_size'], np.float32)

    # Minimize the loss function
    opt.minimize(lambda: loss_function(intercept, slope, price_batch, size_batch), 
                 var_list=[intercept, slope])

# Print parameter values
print(intercept.numpy(), slope.numpy())

Hela urvalet jämfört med batchträning

Hela urvalet
1. En uppdatering per epok
2. Tar emot datamängden utan modifiering
3. Begränsas av minnet

Batchträning
1. Flera uppdateringar per epok
2. Kräver uppdelning av datamängden
3. Ingen gräns för datamängdens storlek

Nu kör vi en övning!

Introduktion till TensorFlow i Python