ニューラルネットワークの正則化

Keras で学ぶ画像モデリング

Ariel Rokem

Senior Data Scientist, University of Washington

ドロップアウト

各学習ステップで：

ユニットのサブセットを選択する
順伝播でそれを無視する
誤差逆伝播でも同様に無視する

ドロップアウト

Kerasでのドロップアウト

from keras.models import Sequential
from keras.layers import Dense, Conv2D, Flatten, Dropout

model = Sequential()
model.add(Conv2D(5, kernel_size=3, activation='relu', 
              input_shape=(img_rows, img_cols, 1)))

model.add(Dropout(0.25))

model.add(Conv2D(15, kernel_size=3, activation='relu'))
model.add(Flatten())
model.add(Dense(3, activation='softmax'))

バッチ正規化

出力をリスケールする

Kerasでのバッチ正規化

from keras.models import Sequential
from keras.layers import Dense, Conv2D, Flatten, BatchNormalization 


model = Sequential()
model.add(Conv2D(5, kernel_size=3, activation='relu', 
              input_shape=(img_rows, img_cols, 1)))

model.add(BatchNormalization())

model.add(Conv2D(15, kernel_size=3, activation='relu'))
model.add(Flatten())
model.add(Dense(3, activation='softmax'))

併用時の注意点

ドロップアウトとバッチ正規化の不調和

練習しましょう！

Keras で学ぶ画像モデリング