Общий обзор NLP

Концепции больших языковых моделей (LLM)

Vidhi Chugh

AI strategist and ethicist

Где мы находимся?

График прогресса: первый шаг — предобработка текста

Концепции больших языковых моделей (LLM)

Предобработка текста

  • Шаги независимы и могут выполняться в любом порядке

Три наиболее распространённых шага предобработки текста

Концепции больших языковых моделей (LLM)

Токенизация

  • Разбивает текст на отдельные слова, или токены

 

  • Текст:

    • "Working with natural language processing techniques is tricky."

     

  • Токенизация:

    • ["Working", "with", "natural", "language", "processing", "techniques", "is", "tricky", "."]
    • Преобразует в список
Концепции больших языковых моделей (LLM)

Удаление стоп-слов

  • Стоп-слова не несут смыслового значения
  • Удаляются в процессе фильтрации стоп-слов

 

  • До удаления стоп-слов:
    • ["Working", "with", "natural", "language", "processing", "techniques", "is", "challenging", "."]

 

  • После удаления стоп-слов:
    • ["Working", "natural", "language", "processing", "techniques", "challenging", "."]
Концепции больших языковых моделей (LLM)

Лемматизация

 

  • Объединяет слова со схожим значением

 

  • Приводит слова к базовой форме

 

  • Сопоставляется с корневым словом

 

  • Talking -> Talk

  • Talked -> Talk

  • Talk -> Talk

Концепции больших языковых моделей (LLM)

Представление текста

График прогресса: этап представления текста

Концепции больших языковых моделей (LLM)

Представление текста

 

  • Текстовые данные в числовом виде

 

  • Мешок слов
  • Векторные представления слов

Изображение: речь в виде чисел

Концепции больших языковых моделей (LLM)

Мешок слов

 

  • Текст в матрицу счётчиков слов

Матрица представления «мешок слов»

  • 0 означает отсутствие слова
Концепции больших языковых моделей (LLM)

Ограничения метода «мешок слов»

  • Не учитывает порядок слов и контекст

    • Может приводить к неверным интерпретациям
    • Похожие предложения с противоположным смыслом
      • "The cat chased the mouse swiftly."
      • "The mouse chased the cat."

  • Не улавливает семантику между словами

    • Рассматривает связанные слова как независимые
    • Например, "cat" и "mouse"
Концепции больших языковых моделей (LLM)

Векторные представления слов

  • Представляют семантические значения в числовом виде

 

Cat Mouse
Plant -0.9 -0.8
Furry 0.9 0.7
Carnivore 0.9 -0.8

 

  • Cat [-0.9, 0.9, 0.9]
  • Связь хищника и жертвы:

Векторные представления слов: хищник и жертва

Концепции больших языковых моделей (LLM)

Машиночитаемый формат

 

  • Начинаем с предобработки текста

Рабочий процесс подготовки данных

Концепции больших языковых моделей (LLM)

Машиночитаемый формат

 

  • Преобразуем предобработанный текст в числовой формат

Рабочий процесс подготовки данных с этапами представления текста

Концепции больших языковых моделей (LLM)

Давайте потренируемся!

Концепции больших языковых моделей (LLM)

Preparing Video For Download...