भाषाई टास्क के मेट्रिक्स: perplexity और BLEU

Python में LLMs का परिचय

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

LLM टास्क और मेट्रिक्स

भाषा टास्क के लिए मूल्यांकन मेट्रिक्स

Perplexity

अगले शब्द की सटीक और भरोसेमंद भविष्यवाणी करने की मॉडल क्षमता
कम perplexity = अधिक भरोसा

input_text = "Latest research findings in Antarctica show"

generated_text = "Latest research findings in Antarctica show that the ice sheet 
is melting faster than previously thought."


# Encode the prompt, generate text and decode it
input_text_ids = tokenizer.encode(input_text, return_tensors="pt")
output = model.generate(input_text_ids, max_length=20)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)

Perplexity आउटपुट

perplexity = evaluate.load("perplexity", module_type="metric")
results = perplexity.compute(predictions=generated_text, model_id="gpt2")

print(results)

{'perplexities': [245.63299560546875, 520.3106079101562, ....], 
 'mean_perplexity': 2867.7229790460497}

print(results["mean_perplexity"])

2867.7229790460497

बेसलाइन परिणामों से तुलना करें

BLEU

अनुवाद गुणवत्ता को मानव रेफरेंस के विरुद्ध मापता है
Predictions: LLM के आउटपुट
References: मानव रेफरेंस

bleu = evaluate.load("bleu")


input_text = "Latest research findings in Antarctica show"
references = [["Latest research findings in Antarctica show significant ice loss due to 
               climate change.", "Latest research findings in Antarctica show that the ice 
               sheet is melting faster than previously thought."]]
generated_text = "Latest research findings in Antarctica show that the ice sheet is melting 
               faster than previously thought."

BLEU आउटपुट

results = bleu.compute(predictions=[generated_text], references=references)
print(results)

{'bleu': 1.0, 
 'precisions': [1.0, 1.0, 1.0, 1.0], 
 'brevity_penalty': 1.0, 
 'length_ratio': 1.2142857142857142, 
 'translation_length': 17, 
 'reference_length': 14}

0-1 स्कोर: 1 के जितना पास, उतनी अधिक समानता

अभ्यास करते हैं!

Python में LLMs का परिचय