Doğal dil işlemeye giriş

Python ile Natural Language Processing (NLP)

Fouad Trad

Machine Learning Engineer

Eğitmenle tanışın...

 

Eğitmenin fotoğrafı.

 

Fouad Trad

  • Makine öğrenimi mühendisi
  • Araştırmacı
  • Siber güvenlik ve sağlıkta NLP
Python ile Natural Language Processing (NLP)

NLP nedir?

 

 

  • Dil, birincil iletişim aracımızdır
  • Bilgisayarlar dilimizi anlamaz

Dilin bulunduğu yerleri gösteren görsel: kitaplar, web siteleri, sosyal medya gönderileri ve e-postalar.

Python ile Natural Language Processing (NLP)

NLP nedir?

Bilgisayarların insan dilini analiz etmesini sağlar

Bir kişinin makineyle konuştuğunu ve doğal dil işlemenin söyleneni makinenin anlayacağı dile çevirdiğini gösteren görsel.

Python ile Natural Language Processing (NLP)

NLP iş akışı

İş akışının ilk adımı: ham metin.

  • Ham metin: tweet’ten kitap paragrafına kadar her şey
Python ile Natural Language Processing (NLP)

NLP iş akışı

İş akışının ikinci adımı: ön işleme

  • Ham metin: tweet’ten kitap paragrafına kadar her şey
  • Ön işleme: metni temizleme ve gereksiz öğeleri kaldırma
Python ile Natural Language Processing (NLP)

NLP iş akışı

İş akışının üçüncü adımı: özellik çıkarımı.

  • Ham metin: tweet’ten kitap paragrafına kadar her şey
  • Ön işleme: metni temizleme ve gereksiz öğeleri kaldırma
  • Özellik çıkarımı: metni sayılara dönüştürme
Python ile Natural Language Processing (NLP)

NLP iş akışı

İş akışının dördüncü adımı: Modelleme

  • Ham metin: tweet’ten kitap paragrafına kadar her şey
  • Ön işleme: metni temizleme ve gereksiz öğeleri kaldırma
  • Özellik çıkarımı: metni sayılara dönüştürme
  • Model: analiz etme, tahmin, sınıflandırma, yeni içerik üretme
Python ile Natural Language Processing (NLP)

Ders planı

Tam iş akışı diyagramı; 1. bölümün NLTK ile ön işlemeyi kapsadığı belirtiliyor

Python ile Natural Language Processing (NLP)

Ders planı

Tam iş akışı diyagramı; 2. bölümün scikit-learn ve Gensim ile özellik çıkarımını kapsadığı belirtiliyor.

Python ile Natural Language Processing (NLP)

Ders planı

Tam iş akışı diyagramı; 3 ve 4. bölümlerin transformers kütüphaneleriyle ön işleme, özellik çıkarımı ve modellemeyi gizleyen ardışık düzenleri kapsadığı belirtiliyor.

Python ile Natural Language Processing (NLP)

Tokenleştirme

  • Metni belirteçlere (daha küçük yönetilebilir parçalara) böler

Havuç doğrayan bir kişiyi gösteren görsel

Python ile Natural Language Processing (NLP)

Cümle tokenleştirme

  • Metin → cümleler
  • Metni tümüyle analiz etmekten daha net içgörüler sunar
import nltk

nltk.download('punkt_tab')


text = "NLP is fun. Let's dive into it!"

sentences = nltk.sent_tokenize(text)

print(sentences)

["NLP is fun.", "Let's dive into it!"]

Çeviriyi simgeleyen bir ikon gösteren görsel.

Python ile Natural Language Processing (NLP)

Kelime tokenleştirme

  • Metin → kelimeler ve noktalama
  • Şunlar için yararlı:
    • Anahtar terimleri belirleme
    • Kelime sıklığını sayma
text = "Claim your free prize now!"

words = nltk.word_tokenize(text)

print(words)

['Claim', 'your', 'free', 'prize', 'now', '!']

Spam e-postayı simgeleyen bir ikon gösteren görsel.

Python ile Natural Language Processing (NLP)

Hadi pratik yapalım!

Python ile Natural Language Processing (NLP)

Preparing Video For Download...