Optimizers

Python में TensorFlow परिचय

Isaiah Hull

Visiting Associate Professor of Finance, BI Norwegian Business School

न्यूनतम कैसे खोजें

चित्र में ग्रैंड कैन्यन दिखता है.

¹ Source: U.S. National Park Service

न्यूनतम कैसे खोजें

चित्र में ग्रैंड कैन्यन दिखता है.

¹ Source: U.S. National Park Service

न्यूनतम कैसे खोजें

चित्र में ग्रैंड कैन्यन दिखता है.

¹ Source: U.S. National Park Service

चित्र में एक सरल समस्या के लिए SGD, RMSprop और Adam optimizers का learning path दिखाया गया है.

Gradient descent optimizer

Stochastic gradient descent (SGD) optimizer
- tf.keras.optimizers.SGD()
- learning_rate
सरल और समझने में आसान

RMSprop optimizer

Root mean squared (RMS) propagation optimizer
- हर फीचर पर अलग learning rate लगाता है
- tf.keras.optimizers.RMSprop()
- learning_rate
- momentum
- decay
Momentum को बनाना और घटाना, दोनों संभव

Adam optimizer

Adaptive moment (Adam) optimizer
- tf.keras.optimizers.Adam()
- learning_rate
- beta1
डिफ़ॉल्ट पैरामीटर पर भी अच्छा प्रदर्शन

एक संपूर्ण उदाहरण

import tensorflow as tf

# Define the model function
def model(bias, weights, features = borrower_features):
    product = tf.matmul(features, weights)
    return tf.keras.activations.sigmoid(product+bias)

# Compute the predicted values and loss
def loss_function(bias, weights, targets = default, features = borrower_features):
    predictions = model(bias, weights)
    return tf.keras.losses.binary_crossentropy(targets, predictions)

# Minimize the loss function with RMS propagation
opt = tf.keras.optimizers.RMSprop(learning_rate=0.01, momentum=0.9)
opt.minimize(lambda: loss_function(bias, weights), var_list=[bias, weights])

अभ्यास करते हैं!

Python में TensorFlow परिचय