Metin için ön işleme giriş

PyTorch ile Metin için Deep Learning

Shubham Jain

Data Scientist

Neler öğreneceğiz

Metin sınıflandırma
Metin üretimi
Kodlama
Metin için derin öğrenme modelleri
Transformer mimarisi
Modelleri koruma

Kullanım alanları:

Duygu analizi
Metin özetleme
Makine çevirisi

Duygu Analizi

Bilmeniz gerekenler

Önkoşul kurs: Intermediate Deep Learning with PyTorch

PyTorch ile derin öğrenme modelleri
Eğitim ve değerlendirme döngüleri
Evrişimsel sinir ağları (CNN) ve yinelemeli sinir ağları (RNN)

Metin işleme hattı

Pytorch İşleme Hattı

Metin işleme hattı

Pytorch İşleme Hattı

Metni temizleyin ve hazırlayın

PyTorch ve NLTK

PyTorch Logosu

NLTK Logosu

Natural Language Toolkit
- Ham metni işlenmiş metne dönüştürür

Ön işleme teknikleri

Tokenizasyon
Stop sözcük kaldırma
Kök bulma (stemming)
Nadir sözcük kaldırma

Tokenizasyon

Metinden tokenlar veya sözcükler çıkarılır
torchtext ile tokenizasyon

from torchtext.data.utils import get_tokenizer

tokenizer = get_tokenizer("basic_english")

tokens = tokenizer("I am reading a book now. I love to read books!")
print(tokens)

["I", "am", "reading", "a", "book", "now", ".", "I", "love", "to", "read", 
"books", "!"]

Stop sözcük kaldırma

Anlama katkısı olmayan yaygın sözcükleri kaldırın
Stop sözcükler: "a", "the", "and", "or", vb.

import nltk
nltk.download('stopwords')
from nltk.corpus import stopwords

stop_words = set(stopwords.words('english'))

tokens = ["I", "am", "reading", "a", "book", "now", ".", "I", "love", "to", "read",
"books", "!"]
filtered_tokens = [token for token in tokens if token.lower() not in stop_words]

print(filtered_tokens)

["reading", "book", ".", "love", "read", "books", "!"]

Kök bulma (Stemming)

Sözcükleri kök/temel forma indirgeme
Örn.: "running", "runs", "ran" → run

import nltk
from nltk.stem import PorterStemmer

stemmer = PorterStemmer()

filtered_tokens = ["reading", "book", ".", "love", "read", "books", "!"]

stemmed_tokens = [stemmer.stem(token) for token in filtered_tokens]

print(stemmed_tokens)

["read", "book", ".", "love", "read", "book", "!"]

Nadir sözcük kaldırma

Değer katmayan seyrek sözcükleri kaldırma

from nltk.probability import FreqDist
stemmed_tokens= ["read", "book", ".", "love", "read", "book", "!"]  
freq_dist = FreqDist(stemmed_tokens)

threshold = 2

common_tokens = [token for token in stemmed_tokens if freq_dist[token] > threshold]
print(common_tokens)

["read", "book", "read", "book"]

Ön işleme teknikleri

Tokenizasyon, stop sözcük kaldırma, kök bulma ve nadir sözcük kaldırma

Özellik sayısını azaltır
Daha temiz, daha temsilî veri kümeleri
Daha fazla teknik vardır

Hadi pratik yapalım!

PyTorch ile Metin için Deep Learning