Förstå sekventiella modeller

Maskinöversättning med Keras

Thushan Ganegedara

Data Scientist and Author

Tidsserieingångar och sekventiella modeller

  • En mening är en tidsserieingång
    • Aktuellt ord påverkas av tidigare ord
    • T.ex. Han gick till poolen för att ....
  • Kodaren/avkodaren använder en maskininlärningsmodell
    • Modeller som kan lära sig från tidsseriedata
    • Modeller kallas sekventiella modeller
Maskinöversättning med Keras

Sekventiella modeller

  • Sekventiella modeller
    • Bearbetar ingången och producerar ett utdata vid varje tidssteg

Arkitektur för sekventiell modell

Maskinöversättning med Keras

Kodaren som en sekventiell modell

  • GRU – Gated Recurrent Unit

Gated recurrent units

Maskinöversättning med Keras

Introduktion till GRU-lagret

Vid tidssteg 1 tar GRU-lagret emot,

  • Ingången "We"
  • Det initiala tillståndet (0,0)
  • Och returnerar det nya tillståndet (0.8, 0.3)

GRU 1

Maskinöversättning med Keras

Introduktion till GRU-lagret

Vid tidssteg 2 tar GRU-lagret emot,

  • Ingången "like"
  • Det initiala tillståndet (0.8,0.3)
  • Och returnerar det nya tillståndet (0.5, 0.9)

Det dolda tillståndet representerar modellens "minne" av vad den sett

GRU 2

Maskinöversättning med Keras

Repetition: Keras (Functional API)

  • Keras har två viktiga objekt: Layer och Model.
  • Ingångslager
    • inp = keras.layers.Input(shape=(...))
  • Dolt lager
    • layer = keras.layers.GRU(...)
  • Utdata
    • out = layer(inp)
  • Modell
    • model = Model(inputs=inp, outputs=out)
Maskinöversättning med Keras

Förstå datans form

  • Sekventiell data är tredimensionell
    • Batchdimension (t.ex. batch = grupper av meningar)
    • Tidsdimension – sekvensens längd
    • Ingångsdimension (t.ex. längden på one-hot-vektor)
  • GRU-modellens ingångsform
    • (Batch, Tid, Ingång)
    • (batchstorlek, sekvenslängd, one-hot-längd)

Indata

Maskinöversättning med Keras

Implementera GRU med Keras

Definiera Keras-lager

inp = keras.layers.Input(batch_shape=(2,3,4))
gru_out = keras.layers.GRU(10)(inp)

Definiera en Keras-modell

model = keras.models.Model(inputs=inp, outputs=gru_out)
Maskinöversättning med Keras

Implementera GRU med Keras

Göra prediktioner med Keras-modellen

x = np.random.normal(size=(2,3,4))
y = model.predict(x)
print("shape (y) =", y.shape, "\ny = \n", y)

shape (y) = (2, 10) 
y = 
[[ 0.2576233   0.01215531  ... -0.32517594  0.4483121 ],
 [ 0.54189587 -0.63834655  ... -0.4339783   0.4043917 ]]
Maskinöversättning med Keras

Implementera GRU med Keras

En GRU som hanterar godtyckligt antal sampel i en batch

inp = keras.layers.Input(shape=(3,4))
gru_out = keras.layers.GRU(10)(inp)
model = keras.models.Model(inputs=inp, outputs=gru_out)

x = np.random.normal(size=(5,3,4))
y = model.predict(x)
print("y = \n", y)

y = 
 [[-1.3941444e-02 -3.3123985e-02 ... 6.5081201e-02  1.1245312e-01]
 [ 1.1409521e-03  3.6983326e-01 ... -3.4610277e-01 -3.4792548e-01]
 [ 2.5911796e-01 -3.9517123e-01 ... 5.8505309e-01  3.6908010e-01]
 [-2.8727052e-01 -5.1150680e-02 ... -1.9637148e-01 -1.5587148e-01]
 [ 3.1303680e-01  2.3338445e-01 ... 9.1499090e-04 -2.0590121e-01]]
Maskinöversättning med Keras

GRU-lagrets argument return_state

inp = keras.layers.Input(batch_shape=(2,3,4))
gru_out2, gru_state = keras.layers.GRU(10, return_state=True)(inp)
print("gru_out2.shape = ", gru_out2.shape)
print("gru_state.shape = ", gru_state.shape)

gru_out2.shape =  (2, 10)
gru_state.shape =  (2, 10)

GRU return_state

Maskinöversättning med Keras

GRU-lagrets argument return_sequences

inp = keras.layers.Input(batch_shape=(2,3,4))
gru_out3 = keras.layers.GRU(10, return_sequences=True)(inp)
print("gru_out3.shape = ", gru_out2.shape)

gru_out3.shape =  (2, 3, 10)

GRU return_sequences

Maskinöversättning med Keras

Nu kör vi en övning!

Maskinöversättning med Keras

Preparing Video For Download...