การ Regularization ของโครงข่ายประสาทเทียม

การสร้างโมเดลภาพด้วย Keras

Ariel Rokem

Senior Data Scientist, University of Washington

Dropout

ในแต่ละขั้นตอนการเรียนรู้:

เลือกชุดย่อยของ unit
ละเว้นในการส่งผ่านไปข้างหน้า
และในการ back-propagation ของ error

Dropout

Dropout ใน Keras

from keras.models import Sequential
from keras.layers import Dense, Conv2D, Flatten, Dropout

model = Sequential()
model.add(Conv2D(5, kernel_size=3, activation='relu', 
              input_shape=(img_rows, img_cols, 1)))

model.add(Dropout(0.25))

model.add(Conv2D(15, kernel_size=3, activation='relu'))
model.add(Flatten())
model.add(Dense(3, activation='softmax'))

Batch Normalization

ปรับสเกล output

Batch Normalization ใน Keras

from keras.models import Sequential
from keras.layers import Dense, Conv2D, Flatten, BatchNormalization 


model = Sequential()
model.add(Conv2D(5, kernel_size=3, activation='relu', 
              input_shape=(img_rows, img_cols, 1)))

model.add(BatchNormalization())

model.add(Conv2D(15, kernel_size=3, activation='relu'))
model.add(Flatten())
model.add(Dense(3, activation='softmax'))

ระวังเมื่อใช้ทั้งสองร่วมกัน!

ความขัดแย้งระหว่าง Dropout และ Batch Normalization

มาฝึกกันเถอะ!

การสร้างโมเดลภาพด้วย Keras