एक्टिवेशन फंक्शंस

Keras के साथ डीप लर्निंग परिचय

Miguel Esteban

Data Scientist & Founder

एक्टिवेशन फंक्शंस के प्रभाव

कौन सा एक्टिवेशन फंक्शन उपयोग करें?

कोई जादुई फ़ॉर्मूला नहीं
अलग गुणधर्म
हमारी समस्या पर निर्भर
दिए गए लेयर का लक्ष्य
ReLU अच्छा पहला विकल्प है
डीप मॉडलों में sigmoid न सुझाए जाते
प्रयोग से ट्यून करें

एक्टिवेशन फंक्शंस की तुलना

# Set a random seed
np.random.seed(1)

# Return a new model with the given activation
def get_model(act_function):
    model = Sequential()
    model.add(Dense(4, input_shape=(2,), activation=act_function))
    model.add(Dense(1, activation='sigmoid'))
    return model

एक्टिवेशन फंक्शंस की तुलना

# Activation functions to try out
activations = ['relu', 'sigmoid', 'tanh']

# Dictionary to store results
activation_results = {}

for funct in activations:
    model = get_model(act_function=funct)
    history = model.fit(X_train, y_train,
                        validation_data=(X_test, y_test),
                        epochs=100, verbose=0)
    activation_results[funct] = history

एक्टिवेशन फंक्शंस की तुलना

import pandas as pd

# Extract val_loss history of each activation function
val_loss_per_funct = {k:v.history['val_loss'] for k,v in activation_results.items()}


# Turn the dictionary into a pandas dataframe
val_loss_curves = pd.DataFrame(val_loss_per_funct)


# Plot the curves
val_loss_curves.plot(title='Loss per Activation function')

अभ्यास करते हैं!

Keras के साथ डीप लर्निंग परिचय