Melatih jaringan di TensorFlow

Pendahuluan TensorFlow di Python

Isaiah Hull

Visiting Associate Professor of Finance, BI Norwegian Business School

Gambar ini menampilkan plot 3D dari fungsi objektif rumit bernama fungsi eggholder.

Inisialisator acak

Sering perlu menginisialisasi ribuan variabel
- tf.ones() bisa berkinerja buruk
- Merepotkan dan sulit jika inisialisasi satu per satu
Alternatif: ambil nilai awal dari distribusi
- Normal
- Seragam
- Inisialisator Glorot

Menginisialisasi variabel di TensorFlow

import tensorflow as tf

# Define 500x500 random normal variable
weights = tf.Variable(tf.random.normal([500, 500]))

# Define 500x500 truncated random normal variable
weights = tf.Variable(tf.random.truncated_normal([500, 500]))

Menginisialisasi variabel di TensorFlow

# Define a dense layer with the default initializer
dense = tf.keras.layers.Dense(32, activation='relu')

# Define a dense layer with the zeros initializer
dense = tf.keras.layers.Dense(32, activation='relu',\
    kernel_initializer='zeros')

Jaringan saraf dan overfitting

Gambar ini menampilkan prediksi dari model sederhana dan kompleks pada data pelatihan.

Gambar ini menampilkan prediksi dari model sederhana dan kompleks pada data validasi.

Menerapkan dropout

Gambar ini menampilkan jaringan saraf tanpa dropout.

Gambar ini menampilkan jaringan saraf dengan dropout pada node acak.

Menerapkan dropout dalam jaringan

import numpy as np
import tensorflow as tf

# Define input data
inputs = np.array(borrower_features, np.float32)

# Define dense layer 1
dense1 = tf.keras.layers.Dense(32, activation='relu')(inputs)

Menerapkan dropout dalam jaringan

# Define dense layer 2
dense2 = tf.keras.layers.Dense(16, activation='relu')(dense1)

# Apply dropout operation
dropout1 = tf.keras.layers.Dropout(0.25)(dense2)

# Define output layer
outputs = tf.keras.layers.Dense(1, activation='sigmoid')(dropout1)

Ayo berlatih!

Pendahuluan TensorFlow di Python