Aktivasyon fonksiyonları

Keras ile Deep Learning'e Giriş

Miguel Esteban

Data Scientist & Founder

Aktivasyon fonksiyonlarının etkileri

Hangi aktivasyon fonksiyonu?

Sihirli formül yok
Farklı özellikler
Probleminize bağlıdır
Katman bazında hedefe bağlı
ReLU iyi bir ilk seçimdir
Derin modellerde sigmoid önerilmez
Deneyerek ayarlayın

Aktivasyon fonksiyonlarını karşılaştırma

# Set a random seed
np.random.seed(1)

# Return a new model with the given activation
def get_model(act_function):
    model = Sequential()
    model.add(Dense(4, input_shape=(2,), activation=act_function))
    model.add(Dense(1, activation='sigmoid'))
    return model

Aktivasyon fonksiyonlarını karşılaştırma

# Activation functions to try out
activations = ['relu', 'sigmoid', 'tanh']

# Dictionary to store results
activation_results = {}

for funct in activations:
    model = get_model(act_function=funct)
    history = model.fit(X_train, y_train,
                        validation_data=(X_test, y_test),
                        epochs=100, verbose=0)
    activation_results[funct] = history

Aktivasyon fonksiyonlarını karşılaştırma

import pandas as pd

# Extract val_loss history of each activation function
val_loss_per_funct = {k:v.history['val_loss'] for k,v in activation_results.items()}


# Turn the dictionary into a pandas dataframe
val_loss_curves = pd.DataFrame(val_loss_per_funct)


# Plot the curves
val_loss_curves.plot(title='Loss per Activation function')

Ayo berlatih!

Keras ile Deep Learning'e Giriş