Вступ до опрацювання природної мови

Natural Language Processing (NLP) in Python

Fouad Trad

Machine Learning Engineer

Познайомтесь з інструктором…

 

Фото інструктора.

 

Fouad Trad

  • Інженер з машинного навчання
  • Науковий співробітник
  • NLP у кібербезпеці та медицині
Natural Language Processing (NLP) in Python

Що таке NLP?

 

 

  • Мова — наш головний спосіб спілкування
  • Комп'ютери не розуміють людську мову

Зображення джерел мови: книги, вебсайти, пости в соцмережах та електронні листи.

Natural Language Processing (NLP) in Python

Що таке NLP?

Дає змогу комп'ютерам аналізувати людську мову

Зображення: людина говорить із машиною, а опрацювання природної мови перекладає сказане, щоб машина розуміла.

Natural Language Processing (NLP) in Python

Робочий процес NLP

Перший крок робочого процесу: сирий текст.

  • Сирий текст: від твіту до абзацу з книжки
Natural Language Processing (NLP) in Python

Робочий процес NLP

Другий крок робочого процесу: препроцесінг

  • Сирий текст: від твіту до абзацу з книжки
  • Препроцесінг: очищення тексту й вилучення зайвого
Natural Language Processing (NLP) in Python

Робочий процес NLP

Третій крок робочого процесу: видобування ознак.

  • Сирий текст: від твіту до абзацу з книжки
  • Препроцесінг: очищення тексту й вилучення зайвого
  • Видобування ознак: перетворення тексту на числа
Natural Language Processing (NLP) in Python

Робочий процес NLP

Четвертий крок робочого процесу: моделювання

  • Сирий текст: від твіту до абзацу з книжки
  • Препроцесінг: очищення тексту й вилучення зайвого
  • Видобування ознак: перетворення тексту на числа
  • Модель: аналізує, прогнозує, класифікує, генерує новий контент
Natural Language Processing (NLP) in Python

План курсу

Повна схема процесу із приміткою, що розділ 1 охоплює препроцесінг з NLTK

Natural Language Processing (NLP) in Python

План курсу

Повна схема процесу із приміткою, що розділ 2 охоплює видобування ознак у scikit-learn і Gensim.

Natural Language Processing (NLP) in Python

План курсу

Повна схема процесу із приміткою, що розділи 3 і 4 охоплюють конвеєри, які приховують три кроки: препроцесінг, видобування ознак і моделювання, з бібліотеками transformers.

Natural Language Processing (NLP) in Python

Токенізація

  • Розбиває текст на токени (менші керовані частини)

Зображення: людина нарізає моркву

Natural Language Processing (NLP) in Python

Токенізація речень

  • Текст → речення
  • Дає чіткіші висновки, ніж аналіз усього тексту
import nltk

nltk.download('punkt_tab')


text = "NLP is fun. Let's dive into it!"

sentences = nltk.sent_tokenize(text)

print(sentences)

["NLP is fun.", "Let's dive into it!"]

Значок, що уособлює переклад.

Natural Language Processing (NLP) in Python

Токенізація слів

  • Текст → слова та пунктуація
  • Корисно для задач:
    • Визначення ключових термінів
    • Підрахунок частоти слів
text = "Claim your free prize now!"

words = nltk.word_tokenize(text)

print(words)

['Claim', 'your', 'free', 'prize', 'now', '!']

Значок спам-листа.

Natural Language Processing (NLP) in Python

Давайте потренуємось!

Natural Language Processing (NLP) in Python

Preparing Video For Download...