Metin sınıflandırma

Hugging Face ile Çalışmak

Jacob H. Marquez

Lead Data Engineer

Metin sınıflandırma: Duygu analizi

Metni duygusal tona göre etiketler

Duygu analizi

Uygulamalar: İnceleme analizi, sosyal medya duygu takibi

Duygu simgesi

Duygu analizi: kod örneği

from transformers import pipeline


my_pipeline = pipeline(
    "text-classification",
    model="distilbert-base-uncased-finetuned-sst-2-english"
)

print(my_pipeline("Wi-Fi is slower than a snail today!"))

[{'label': 'NEGATIVE', 'score': 0.99}]

Metin sınıflandırma: Dilbilgisel doğruluk

Dilbilgisi denetimi

Metnin dilbilgisini doğruluk açısından değerlendirir

Dilbilgisel doğruluk örneği

Uygulamalar: Dilbilgisi denetleyicileri, dil öğrenme araçları

Dilbilgisel doğruluk: kod örneği

from transformers import pipeline


# Create a pipeline for grammar checking
grammar_checker = pipeline(
    task="text-classification",
    model="abdulmatinomotoso/English_Grammar_Checker"
)

# Check grammar of the input text
print(grammar_checker("He eat pizza every day."))

[{'label': 'LABEL_0', 'score': 0.99}]

Metin sınıflandırma: QNLI

$$ Soru-Cevap

Bir önermenin bir soruyu yanıtlayıp yanıtlamadığını kontrol eder
Uygulamalar: Soru-cevap sistemleri, doğruluk kontrolü

QNLI örneği

QNLI: kod örneği

from transformers import pipeline


classifier = pipeline(
    task="text-classification",
    model="cross-encoder/qnli-electra-base"
)


classifier("Where is Seattle located?, Seattle is located in Washington state.")

[{'label': 'LABEL_0', 'score': 0.997}]

Metin sınıflandırma: Dinamik kategori atama

İçeriğe göre kategorileri dinamik olarak atar

Kategori atama örneği

Uygulamalar: İçerik denetimi, öneri sistemleri

Kategori Atama

Dinamik kategori atama: kod örneği

classifier = pipeline(
  task="zero-shot-classification", 
  model="facebook/bart-large-mnli")


text = "Hey, DataCamp; we would like to feature your courses in our newsletter!"
categories = ["marketing", "sales", "support"]


output = classifier(text, categories)


print(f"Top Label: {output['labels'][0]} with score: {output['scores'][0]}")

Top Label: support with score: 0.8183

Metin sınıflandırmanın zorlukları

Belirsizlik

Metin sınıflandırmanın zorlukları

Alaycılık

Metin sınıflandırmanın zorlukları

Çok dilli

Hadi pratik yapalım!

Hugging Face ile Çalışmak