टेक्स्ट जनरेट करने वाला फंक्शन

Keras के साथ भाषा मॉडलिंग के लिए Recurrent Neural Networks (RNNs)

David Cecchini

Data Scientist

वाक्य जनरेट करना

वाक्य का निर्धारण विराम-चिह्न से होता है। जैसे . (period), ! (exclamation) या ? (question).
- ये विराम-चिह्न vocabulary में होने चाहिए।
एक वाक्य टोकन होता है, जैसे <SENT> और </SENT>, जो शुरुआत और अंत बताता है।
- लेबल डालने के लिए डेटा को pre-process करना होगा।

वाक्य जनरेट करना

sentence = ''

# Loop until end of sentence
while next_char != '.':

    # Predict next char: Get pred array in position 0
    pred = model.predict(X)[0]

    char_index = np.argmax(pred)

    next_char = index_to_char(char_index)

    # Concatenate to sentence
    sentence  = sentence + next_char

Probability scaling

Probability distribution को scale करें.

Temperature: नाम physics से
- छोटी values: prediction ज्यादा confident होती है
- Value 1 के बराबर: कोई scaling नहीं
- बड़ी values: prediction ज्यादा creative होती है
- Hyper-parameter: अपनी ज़रूरत के अनुसार अलग values आज़माएँ

Probability scaling

def scale_softmax(softmax_pred, temperature=1.0):
    # Take the logarithm
    scaled_pred = np.log(softmax_pred) / temperature

    # Re-apply the exponential
    scaled_pred = np.exp(scaled_pred)

    # Build probability distribution
    scaled_pred = scaled_pred / np.sum(scaled_pred)

    # Simulate multinomial
    scaled_pred = np.random.multinomial(1, scaled_pred, 1)

    # Return simulated class
    return np.argmax(scaled_pred)

अभ्यास करते हैं!

Keras के साथ भाषा मॉडलिंग के लिए Recurrent Neural Networks (RNNs)