Înțelegerea modelelor secvențiale

Traducere automată cu Keras

Thushan Ganegedara

Data Scientist and Author

Intrări de tip serie temporală și modele secvențiale

O propoziție este o intrare de tip serie temporală
- Cuvântul curent este influențat de cuvintele anterioare
- Ex. El s-a dus la piscină pentru a ....
Encoder-ul/decoder-ul utilizează un model de machine learning
- Modele care pot învăța din intrări de tip serie temporală
- Aceste modele se numesc modele secvențiale

Modele secvențiale

Modele secvențiale
- Parcurg intrarea producând o ieșire la fiecare pas de timp

Arhitectura modelului secvențial

Encoder ca model secvențial

GRU - Unitate Recurentă cu Porți

Unități recurente cu porți

Introducere în stratul GRU

La pasul de timp 1, stratul GRU,

Consumă intrarea "We"
Consumă starea inițială (0,0)
Produce noua stare (0.8, 0.3)

GRU 1

Introducere în stratul GRU

La pasul de timp 2, stratul GRU,

Consumă intrarea "like"
Consumă starea inițială (0.8,0.3)
Produce noua stare (0.5, 0.9)

Starea ascunsă reprezintă "memoria" a ceea ce a văzut modelul

GRU 2

Recapitulare Keras (API funcțional)

Keras are două obiecte importante: Layer și Model.
Strat de intrare
- inp = keras.layers.Input(shape=(...))
Strat ascuns
- layer = keras.layers.GRU(...)
Ieșire
- out = layer(inp)
Model
- model = Model(inputs=inp, outputs=out)

Înțelegerea formei datelor

Datele secvențiale sunt tridimensionale
- Dimensiunea batch (ex. grupuri de propoziții)
- Dimensiunea timp - lungimea secvenței
- Dimensiunea intrării (ex. lungimea vectorului onehot)

Forma intrării modelului GRU
- (Batch, Timp, Intrare)
- (dimensiune batch, lungime secvență, lungime onehot)

Date de intrare

Implementarea GRU cu Keras

Definirea straturilor Keras

inp = keras.layers.Input(batch_shape=(2,3,4))
gru_out = keras.layers.GRU(10)(inp)

Definirea unui model Keras

model = keras.models.Model(inputs=inp, outputs=gru_out)

Implementarea GRU cu Keras

Predicție cu modelul Keras

x = np.random.normal(size=(2,3,4))
y = model.predict(x)
print("shape (y) =", y.shape, "\ny = \n", y)

shape (y) = (2, 10) 
y = 
[[ 0.2576233   0.01215531  ... -0.32517594  0.4483121 ],
 [ 0.54189587 -0.63834655  ... -0.4339783   0.4043917 ]]

Implementarea GRU cu Keras

Un GRU care acceptă un număr arbitrar de exemple într-un batch

inp = keras.layers.Input(shape=(3,4))
gru_out = keras.layers.GRU(10)(inp)
model = keras.models.Model(inputs=inp, outputs=gru_out)

x = np.random.normal(size=(5,3,4))
y = model.predict(x)
print("y = \n", y)

y = 
 [[-1.3941444e-02 -3.3123985e-02 ... 6.5081201e-02  1.1245312e-01]
 [ 1.1409521e-03  3.6983326e-01 ... -3.4610277e-01 -3.4792548e-01]
 [ 2.5911796e-01 -3.9517123e-01 ... 5.8505309e-01  3.6908010e-01]
 [-2.8727052e-01 -5.1150680e-02 ... -1.9637148e-01 -1.5587148e-01]
 [ 3.1303680e-01  2.3338445e-01 ... 9.1499090e-04 -2.0590121e-01]]

Argumentul return_state al stratului GRU

inp = keras.layers.Input(batch_shape=(2,3,4))
gru_out2, gru_state = keras.layers.GRU(10, return_state=True)(inp)
print("gru_out2.shape = ", gru_out2.shape)
print("gru_state.shape = ", gru_state.shape)

gru_out2.shape =  (2, 10)
gru_state.shape =  (2, 10)

GRU return_state

Argumentul return_sequences al stratului GRU

inp = keras.layers.Input(batch_shape=(2,3,4))
gru_out3 = keras.layers.GRU(10, return_sequences=True)(inp)
print("gru_out3.shape = ", gru_out2.shape)

gru_out3.shape =  (2, 3, 10)

GRU return_sequences

Să exersăm!

Traducere automată cu Keras