Introduktion till naturlig språkbehandling

Natural Language Processing (NLP) i Python

Fouad Trad

Machine Learning Engineer

Möt instruktören...

Foto på instruktören.

Fouad Trad

Maskininlärningsingenjör
Forskare
NLP inom cybersäkerhet och sjukvård

Vad är NLP?

Språk är vårt främsta kommunikationssätt
Datorer förstår inte vårt språk

Bild som visar var språk förekommer: böcker, webbplatser, inlägg i sociala medier och e-post.

Vad är NLP?

Gör det möjligt för datorer att analysera mänskligt språk

Bild som visar en person som pratar med en maskin, där naturlig språkbehandling översätter det personen säger så att maskinen förstår.

NLP-arbetsflöde

Första steget i arbetsflödet: råtext.

Råtext: allt från tweets till bokstycken

NLP-arbetsflöde

Andra steget i arbetsflödet: förbehandling

Råtext: allt från tweets till bokstycken
Förbehandling: rensa text och ta bort onödiga element

NLP-arbetsflöde

Tredje steget i arbetsflödet: särdragsextraktion.

Råtext: allt från tweets till bokstycken
Förbehandling: rensa text och ta bort onödiga element
Särdragsextraktion: omvandla text till tal

NLP-arbetsflöde

Fjärde steget i arbetsflödet: modellering

Råtext: allt från tweets till bokstycken
Förbehandling: rensa text och ta bort onödiga element
Särdragsextraktion: omvandla text till tal
Modell: analysera, förutsäga, klassificera, generera nytt innehåll

Kursplan

Det fullständiga arbetsflödesdiagrammet som anger att kapitel 1 täcker förbehandling med NLTK

Kursplan

Det fullständiga arbetsflödesdiagrammet som anger att kapitel 2 täcker särdragsextraktion med scikit-learn och Gensim.

Kursplan

Det fullständiga arbetsflödesdiagrammet som anger att kapitel 3 och 4 täcker pipelines som döljer de tre stegen: förbehandling, särdragsextraktion och modellering med transformers-biblioteken.

Tokenisering

Delar upp text i tokens (mindre hanterbara delar)

Bild som visar en person som hackar morötter

Meningstokenisering

Text → meningar
Ger tydligare insikter än att analysera hela texten

import nltk

nltk.download('punkt_tab')


text = "NLP is fun. Let's dive into it!"

sentences = nltk.sent_tokenize(text)

print(sentences)

["NLP is fun.", "Let's dive into it!"]

Bild som visar en ikon för översättning.

Ordtokenisering

Text → ord och skiljetecken
Användbart för uppgifter som kräver:
- Identifiering av nyckeltermer
- Räkning av ordfrekvens

text = "Claim your free prize now!"

words = nltk.word_tokenize(text)

print(words)

['Claim', 'your', 'free', 'prize', 'now', '!']

Bild som visar en ikon för ett skräppostmeddelande.

Nu kör vi en övning!

Natural Language Processing (NLP) i Python