Dávkové trénování

Úvod do TensorFlow v Pythonu

Isaiah Hull

Visiting Associate Professor of Finance, BI Norwegian Business School

Co je dávkové trénování?

Obrázek zobrazuje data o ceně, velikosti a počtu ložnic domů v King County.

Obrázek zobrazuje data o ceně, velikosti a počtu ložnic domů v King County, rozdělená do dávek.

Parametr chunksize

pd.read_csv() umožňuje načítat data v dávkách
- Zabraňuje načtení celé datové sady
- Parametr chunksize určuje velikost dávky

# Import pandas and numpy
import pandas as pd
import numpy as np

# Load data in batches
for batch in pd.read_csv('kc_housing.csv', chunksize=100):
    # Extract price column
    price = np.array(batch['price'], np.float32)

    # Extract size column
    size = np.array(batch['size'], np.float32)

Trénování lineárního modelu v dávkách

# Import tensorflow, pandas, and numpy
import tensorflow as tf
import pandas as pd
import numpy as np

# Define trainable variables
intercept = tf.Variable(0.1, tf.float32)
slope = tf.Variable(0.1, tf.float32)

# Define the model
def linear_regression(intercept, slope, features):
    return intercept + features*slope

Trénování lineárního modelu v dávkách

# Compute predicted values and return loss function
def loss_function(intercept, slope, targets, features):
    predictions = linear_regression(intercept, slope, features)
    return tf.keras.losses.mse(targets, predictions)

# Define optimization operation
opt = tf.keras.optimizers.Adam()

Trénování lineárního modelu v dávkách

# Load the data in batches from pandas
for batch in pd.read_csv('kc_housing.csv', chunksize=100):
    # Extract the target and feature columns
    price_batch = np.array(batch['price'], np.float32)
    size_batch = np.array(batch['lot_size'], np.float32)

    # Minimize the loss function
    opt.minimize(lambda: loss_function(intercept, slope, price_batch, size_batch), 
                 var_list=[intercept, slope])

# Print parameter values
print(intercept.numpy(), slope.numpy())

Celý vzorek vs. dávkové trénování

Celý vzorek
1. Jedna aktualizace za epochu
2. Přijímá datovou sadu bez úprav
3. Omezeno pamětí

Dávkové trénování
1. Více aktualizací za epochu
2. Vyžaduje rozdělení datové sady
3. Bez omezení velikosti datové sady

Lass uns üben!

Úvod do TensorFlow v Pythonu