Wprowadzenie do przetwarzania języka naturalnego

Przetwarzanie języka naturalnego (NLP) w Pythonie

Fouad Trad

Machine Learning Engineer

Poznaj prowadzącego...

Zdjęcie prowadzącego.

Fouad Trad

Inżynier uczenia maszynowego
Naukowiec badawczy
NLP w cyberbezpieczeństwie i ochronie zdrowia

Czym jest NLP?

Język jest głównym sposobem komunikacji
Komputery nie rozumieją języka ludzkiego

Obraz pokazujący, gdzie używany jest język: książki, strony internetowe, media społecznościowe i e-maile.

Czym jest NLP?

Umożliwia komputerom analizę języka ludzkiego

Obraz przedstawiający osobę rozmawiającą z maszyną, a NLP tłumaczy wypowiedź tak, by maszyna ją zrozumiała.

Przepływ pracy NLP

Pierwszy krok przepływu pracy: tekst surowy.

Tekst surowy: od tweeta do akapitu książki

Przepływ pracy NLP

Drugi krok przepływu pracy: przetwarzanie wstępne

Tekst surowy: od tweeta do akapitu książki
Przetwarzanie wstępne: czyszczenie tekstu i usuwanie zbędnych elementów

Przepływ pracy NLP

Trzeci krok przepływu pracy: ekstrakcja cech.

Tekst surowy: od tweeta do akapitu książki
Przetwarzanie wstępne: czyszczenie tekstu i usuwanie zbędnych elementów
Ekstrakcja cech: konwersja tekstu na liczby

Przepływ pracy NLP

Czwarty krok przepływu pracy: modelowanie

Tekst surowy: od tweeta do akapitu książki
Przetwarzanie wstępne: czyszczenie tekstu i usuwanie zbędnych elementów
Ekstrakcja cech: konwersja tekstu na liczby
Model: analiza, prognozowanie, klasyfikacja, generowanie treści

Plan kursu

Pełny diagram przepływu pracy: rozdział 1 obejmuje przetwarzanie wstępne z NLTK

Plan kursu

Pełny diagram przepływu pracy: rozdział 2 obejmuje ekstrakcję cech z użyciem scikit-learn i Gensim.

Plan kursu

Pełny diagram przepływu pracy: rozdziały 3 i 4 obejmują potoki ukrywające trzy kroki: przetwarzanie wstępne, ekstrakcję cech i modelowanie z użyciem bibliotek transformers.

Tokenizacja

Dzieli tekst na tokeny (mniejsze, łatwiejsze w przetwarzaniu fragmenty)

Obraz przedstawiający osobę krojącą marchewki

Tokenizacja zdań

Tekst → zdania
Zapewnia głębszy wgląd niż analiza całego tekstu

import nltk

nltk.download('punkt_tab')


text = "NLP is fun. Let's dive into it!"

sentences = nltk.sent_tokenize(text)

print(sentences)

["NLP is fun.", "Let's dive into it!"]

Obraz przedstawiający ikonę tłumaczenia.

Tokenizacja słów

Tekst → słowa i znaki interpunkcyjne
Przydatne do zadań wymagających:
- Identyfikacji kluczowych terminów
- Liczenia częstotliwości słów

text = "Claim your free prize now!"

words = nltk.word_tokenize(text)

print(words)

['Claim', 'your', 'free', 'prize', 'now', '!']

Obraz przedstawiający ikonę wiadomości spamowej.

Czas na ćwiczenia!

Przetwarzanie języka naturalnego (NLP) w Pythonie