신경망 규제화

Keras로 배우는 이미지 모델링

Ariel Rokem

Senior Data Scientist, University of Washington

드롭아웃

각 학습 단계에서:

유닛의 일부 선택
순전파에서 무시
오차 역전파에서도 무시

드롭아웃

Keras에서의 드롭아웃

from keras.models import Sequential
from keras.layers import Dense, Conv2D, Flatten, Dropout

model = Sequential()
model.add(Conv2D(5, kernel_size=3, activation='relu', 
              input_shape=(img_rows, img_cols, 1)))

model.add(Dropout(0.25))

model.add(Conv2D(15, kernel_size=3, activation='relu'))
model.add(Flatten())
model.add(Dense(3, activation='softmax'))

배치 정규화

출력 값 재조정

Keras에서의 배치 정규화

from keras.models import Sequential
from keras.layers import Dense, Conv2D, Flatten, BatchNormalization 


model = Sequential()
model.add(Conv2D(5, kernel_size=3, activation='relu', 
              input_shape=(img_rows, img_cols, 1)))

model.add(BatchNormalization())

model.add(Conv2D(15, kernel_size=3, activation='relu'))
model.add(Flatten())
model.add(Dense(3, activation='softmax'))

함께 사용할 때 주의하십시오!

드롭아웃과 배치 정규화의 비조화

연습해 봅시다!

Keras로 배우는 이미지 모델링