Dil görevleri için metrikler: perplexity ve BLEU

Python ile LLM'lere Giriş

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

LLM görevleri ve metrikler

Dil görevleri için değerlendirme metrikleri

Perplexity

Modelin bir sonraki kelimeyi doğru ve güvenle tahmin etme yeteneği
Daha düşük perplexity = daha yüksek güven

input_text = "Latest research findings in Antarctica show"

generated_text = "Latest research findings in Antarctica show that the ice sheet 
is melting faster than previously thought."


# Encode the prompt, generate text and decode it
input_text_ids = tokenizer.encode(input_text, return_tensors="pt")
output = model.generate(input_text_ids, max_length=20)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)

Perplexity çıktısı

perplexity = evaluate.load("perplexity", module_type="metric")
results = perplexity.compute(predictions=generated_text, model_id="gpt2")

print(results)

{'perplexities': [245.63299560546875, 520.3106079101562, ....], 
 'mean_perplexity': 2867.7229790460497}

print(results["mean_perplexity"])

2867.7229790460497

Temel değerlerle karşılaştırın

BLEU

Çeviri kalitesini insan referanslarına göre ölçer
Tahminler: LLM çıktıları
Referanslar: insan referansları

bleu = evaluate.load("bleu")


input_text = "Latest research findings in Antarctica show"
references = [["Latest research findings in Antarctica show significant ice loss due to 
               climate change.", "Latest research findings in Antarctica show that the ice 
               sheet is melting faster than previously thought."]]
generated_text = "Latest research findings in Antarctica show that the ice sheet is melting 
               faster than previously thought."

BLEU çıktısı

results = bleu.compute(predictions=[generated_text], references=references)
print(results)

{'bleu': 1.0, 
 'precisions': [1.0, 1.0, 1.0, 1.0], 
 'brevity_penalty': 1.0, 
 'length_ratio': 1.2142857142857142, 
 'translation_length': 17, 
 'reference_length': 14}

0-1 puanı: 1'e daha yakın = daha yüksek benzerlik

Hadi pratik yapalım!

Python ile LLM'lere Giriş