Sploty

Modelowanie obrazów z Keras

Ariel Rokem

Senior Data Scientist, University of Washington

Korelacje w obrazach

Obrazy naturalne zawierają korelacje przestrzenne
Na przykład piksele wzdłuż konturu lub krawędzi
Jak można wykorzystać te korelacje?

Inspiracja biologiczna

Czym jest splot?

array = np.array([0, 0, 0, 0, 0, 1, 1, 1, 1, 1])

kernel = np.array([-1, 1])

conv = np.array([0, 0, 0, 0, 0, 0, 0, 0, 0])

conv[0] = (kernel * array[0:2]).sum()
conv[1] = (kernel * array[1:3]).sum()
conv[2] = (kernel * array[2:4]).sum()
...

for ii in range(8):
    conv[ii] = (kernel * array[ii:ii+2]).sum()
conv

array([0, 0, 0, 0, 1, 0, 0, 0, 0])

Splot jednowymiarowy

array = np.array([0, 0, 1, 1, 0, 0, 1, 1, 0, 0])
kernel = np.array([-1, 1])

conv = np.array([0, 0, 0, 0, 0, 0, 0, 0, 0])
for ii in range(8):
    conv[ii] = (kernel * array[ii:ii+2]).sum()

conv

array([ 0,  1,  0, -1,  0,  1,  0, -1,  0])

Splot obrazu

Splot dwuwymiarowy

kernel = np.array([[-1, 1], 
                   [-1, 1]])


conv = np.zeros((27, 27)

for ii in range(27):
    for jj in range(27):
        window = image[ii:ii+2, jj:jj+2] 
        conv[ii, jj] = np.sum(window * kernel)

Splot

Czas na ćwiczenia!

Modelowanie obrazów z Keras