Trening wsadowy

Wprowadzenie do TensorFlow w Pythonie

Isaiah Hull

Visiting Associate Professor of Finance, BI Norwegian Business School

Czym jest trening wsadowy?

Obraz przedstawia dane dotyczące ceny, powierzchni i liczby sypialni domów w hrabstwie King.

Obraz przedstawia dane dotyczące ceny, powierzchni i liczby sypialni domów w hrabstwie King, podzielone na partie.

Parametr chunksize

pd.read_csv() umożliwia ładowanie danych w partiach
- Unika ładowania całego zbioru danych
- Parametr chunksize określa rozmiar partii

# Import pandas and numpy
import pandas as pd
import numpy as np

# Load data in batches
for batch in pd.read_csv('kc_housing.csv', chunksize=100):
    # Extract price column
    price = np.array(batch['price'], np.float32)

    # Extract size column
    size = np.array(batch['size'], np.float32)

Trenowanie modelu liniowego w partiach

# Import tensorflow, pandas, and numpy
import tensorflow as tf
import pandas as pd
import numpy as np

# Define trainable variables
intercept = tf.Variable(0.1, tf.float32)
slope = tf.Variable(0.1, tf.float32)

# Define the model
def linear_regression(intercept, slope, features):
    return intercept + features*slope

Trenowanie modelu liniowego w partiach

# Compute predicted values and return loss function
def loss_function(intercept, slope, targets, features):
    predictions = linear_regression(intercept, slope, features)
    return tf.keras.losses.mse(targets, predictions)

# Define optimization operation
opt = tf.keras.optimizers.Adam()

Trenowanie modelu liniowego w partiach

# Load the data in batches from pandas
for batch in pd.read_csv('kc_housing.csv', chunksize=100):
    # Extract the target and feature columns
    price_batch = np.array(batch['price'], np.float32)
    size_batch = np.array(batch['lot_size'], np.float32)

    # Minimize the loss function
    opt.minimize(lambda: loss_function(intercept, slope, price_batch, size_batch), 
                 var_list=[intercept, slope])

# Print parameter values
print(intercept.numpy(), slope.numpy())

Pełna próbka a trening wsadowy

Pełna próbka
1. Jedna aktualizacja na epokę
2. Przyjmuje zbiór danych bez modyfikacji
3. Ograniczona pamięcią

Trening wsadowy
1. Wiele aktualizacji na epokę
2. Wymaga podziału zbioru danych
3. Brak limitu rozmiaru zbioru

Czas na ćwiczenia!

Wprowadzenie do TensorFlow w Pythonie