Convoluções

Modelagem de imagens com Keras

Ariel Rokem

Senior Data Scientist, University of Washington

Usando correlações em imagens

Imagens naturais têm correlações espaciais
Por exemplo, pixels ao longo de um contorno ou borda
Como usar essas correlações?

Inspiração biológica

O que é uma convolução?

array = np.array([0, 0, 0, 0, 0, 1, 1, 1, 1, 1])

kernel = np.array([-1, 1])

conv = np.array([0, 0, 0, 0, 0, 0, 0, 0, 0])

conv[0] = (kernel * array[0:2]).sum()
conv[1] = (kernel * array[1:3]).sum()
conv[2] = (kernel * array[2:4]).sum()
...

for ii in range(8):
    conv[ii] = (kernel * array[ii:ii+2]).sum()
conv

array([0, 0, 0, 0, 1, 0, 0, 0, 0])

Convolução em uma dimensão

array = np.array([0, 0, 1, 1, 0, 0, 1, 1, 0, 0])
kernel = np.array([-1, 1])

conv = np.array([0, 0, 0, 0, 0, 0, 0, 0, 0])
for ii in range(8):
    conv[ii] = (kernel * array[ii:ii+2]).sum()

conv

array([ 0,  1,  0, -1,  0,  1,  0, -1,  0])

Convolução em imagens

Convolução bidimensional

kernel = np.array([[-1, 1], 
                   [-1, 1]])


conv = np.zeros((27, 27)

for ii in range(27):
    for jj in range(27):
        window = image[ii:ii+2, jj:jj+2] 
        conv[ii, jj] = np.sum(window * kernel)

Convolução

Vamos praticar!

Modelagem de imagens com Keras