Chỉ số cho bài toán ngôn ngữ: perplexity và BLEU

Nhập môn LLMs trong Python

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Nhiệm vụ và chỉ số của LLM

 

Chỉ số đánh giá cho bài toán ngôn ngữ

Nhập môn LLMs trong Python

Perplexity

  • Khả năng dự đoán từ tiếp theo chính xác và tự tin
  • Perplexity thấp = độ tự tin cao
input_text = "Latest research findings in Antarctica show"

generated_text = "Latest research findings in Antarctica show that the ice sheet 
is melting faster than previously thought."


# Encode the prompt, generate text and decode it
input_text_ids = tokenizer.encode(input_text, return_tensors="pt")
output = model.generate(input_text_ids, max_length=20)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
Nhập môn LLMs trong Python

Kết quả perplexity

perplexity = evaluate.load("perplexity", module_type="metric")
results = perplexity.compute(predictions=generated_text, model_id="gpt2")

print(results)

{'perplexities': [245.63299560546875, 520.3106079101562, ....], 
 'mean_perplexity': 2867.7229790460497}

print(results["mean_perplexity"])

2867.7229790460497
  • So sánh với kết quả baseline
Nhập môn LLMs trong Python

BLEU

  • Đo chất lượng dịch so với tham chiếu của con người

  • Predictions: đầu ra của LLM

  • References: tham chiếu do con người tạo
bleu = evaluate.load("bleu")


input_text = "Latest research findings in Antarctica show"
references = [["Latest research findings in Antarctica show significant ice loss due to 
               climate change.", "Latest research findings in Antarctica show that the ice 
               sheet is melting faster than previously thought."]]
generated_text = "Latest research findings in Antarctica show that the ice sheet is melting 
               faster than previously thought."
Nhập môn LLMs trong Python

Kết quả BLEU

results = bleu.compute(predictions=[generated_text], references=references)
print(results)

{'bleu': 1.0, 
 'precisions': [1.0, 1.0, 1.0, 1.0], 
 'brevity_penalty': 1.0, 
 'length_ratio': 1.2142857142857142, 
 'translation_length': 17, 
 'reference_length': 14}
  • Điểm 0–1: càng gần 1 = càng giống nhau
Nhập môn LLMs trong Python

Hãy thực hành!

Nhập môn LLMs trong Python

Preparing Video For Download...