Introducere în procesarea limbajului natural

Procesarea Limbajului Natural (NLP) în Python

Fouad Trad

Machine Learning Engineer

Cunoașteți instructorul...

 

Fotografia instructorului.

 

Fouad Trad

  • Inginer machine learning
  • Cercetător științific
  • NLP în securitate cibernetică și sănătate
Procesarea Limbajului Natural (NLP) în Python

Ce este NLP?

 

 

  • Limbajul este principalul nostru mijloc de comunicare
  • Calculatoarele nu înțeleg limbajul nostru

Imagine care arată unde apare limbajul: cărți, site-uri web, postări pe rețele sociale și e-mailuri.

Procesarea Limbajului Natural (NLP) în Python

Ce este NLP?

Permite calculatoarelor să analizeze limbajul uman

Imagine cu o persoană care vorbește cu o mașină, iar procesarea limbajului natural traduce ceea ce spune persoana pentru ca mașina să înțeleagă.

Procesarea Limbajului Natural (NLP) în Python

Fluxul de lucru NLP

Primul pas al fluxului de lucru: text brut.

  • Text brut: de la tweet la paragraf de carte
Procesarea Limbajului Natural (NLP) în Python

Fluxul de lucru NLP

Al doilea pas al fluxului de lucru: preprocesare

  • Text brut: de la tweet la paragraf de carte
  • Preprocesare: curățarea textului și eliminarea elementelor inutile
Procesarea Limbajului Natural (NLP) în Python

Fluxul de lucru NLP

Al treilea pas al fluxului de lucru: extragerea caracteristicilor.

  • Text brut: de la tweet la paragraf de carte
  • Preprocesare: curățarea textului și eliminarea elementelor inutile
  • Extragerea caracteristicilor: conversia textului în numere
Procesarea Limbajului Natural (NLP) în Python

Fluxul de lucru NLP

Al patrulea pas al fluxului de lucru: modelare

  • Text brut: de la tweet la paragraf de carte
  • Preprocesare: curățarea textului și eliminarea elementelor inutile
  • Extragerea caracteristicilor: conversia textului în numere
  • Model: analizează, prezice, clasifică, generează conținut nou
Procesarea Limbajului Natural (NLP) în Python

Planul cursului

Diagrama completă a fluxului de lucru, menționând că Capitolul 1 va acoperi preprocesarea cu NLTK

Procesarea Limbajului Natural (NLP) în Python

Planul cursului

Diagrama completă a fluxului de lucru, menționând că Capitolul 2 va acoperi extragerea caracteristicilor cu scikit-learn și Gensim.

Procesarea Limbajului Natural (NLP) în Python

Planul cursului

Diagrama completă a fluxului de lucru, menționând că Capitolele 3 și 4 vor acoperi pipeline-uri care înglobează cei trei pași: preprocesare, extragerea caracteristicilor și modelare, folosind bibliotecile transformers.

Procesarea Limbajului Natural (NLP) în Python

Tokenizare

  • Împarte textul în tokeni (unități mai mici și ușor de gestionat)

Imagine cu o persoană tocând morcovi

Procesarea Limbajului Natural (NLP) în Python

Tokenizarea propozițiilor

  • Text → propoziții
  • Oferă perspective mai clare decât analiza textului în ansamblu
import nltk

nltk.download('punkt_tab')


text = "NLP is fun. Let's dive into it!"

sentences = nltk.sent_tokenize(text)

print(sentences)

["NLP is fun.", "Let's dive into it!"]

Imagine cu o pictogramă reprezentând traducerea.

Procesarea Limbajului Natural (NLP) în Python

Tokenizarea cuvintelor

  • Text → cuvinte și semne de punctuație
  • Util pentru sarcini care implică:
    • Identificarea termenilor cheie
    • Numărarea frecvenței cuvintelor
text = "Claim your free prize now!"

words = nltk.word_tokenize(text)

print(words)

['Claim', 'your', 'free', 'prize', 'now', '!']

Imagine cu o pictogramă pentru un e-mail spam.

Procesarea Limbajului Natural (NLP) în Python

Să exersăm!

Procesarea Limbajului Natural (NLP) în Python

Preparing Video For Download...