Знакомство с трансформером

Концепции больших языковых моделей (LLM)

Vidhi Chugh

AI strategist and ethicist

Где мы находимся?

График прогресса: мы изучаем трансформер

Концепции больших языковых моделей (LLM)

Что такое трансформер?

  • «Attention Is All You Need»
    • Произвела революцию в языковом моделировании

 

  • Архитектура трансформера
    • Связи между словами
    • Компоненты: предобработка, позиционное кодирование, энкодеры и декодеры

Фрагмент статьи «Attention is all you need»

1 arXiv: Attention Is All You Need
Концепции больших языковых моделей (LLM)

Внутри трансформера

 

  • Вход: Jane, who lives in New York and works as a software

 

Внутренние компоненты и поток данных внутри трансформера

 

  • Выход: engineer, loves exploring new restaurants in the city.
Концепции больших языковых моделей (LLM)

Трансформеры подобны оркестру

Фотография оркестра

Концепции больших языковых моделей (LLM)

Предобработка и представление текста

  • Предобработка текста: токенизация, удаление стоп-слов, лемматизация
  • Представление текста: векторное представление слов

Первый компонент трансформера и отдельные ноты

Концепции больших языковых моделей (LLM)

Позиционное кодирование

  • Информация о позиции каждого слова
  • Учёт слов на большом расстоянии

Второй компонент трансформера и нотный фрагмент

Концепции больших языковых моделей (LLM)

Энкодеры

  • Механизм внимания: фокусируется на конкретных словах и связях
  • Нейронная сеть: обрабатывает конкретные признаки

Энкодер в схеме трансформера

Концепции больших языковых моделей (LLM)

Декодеры

  • Включает механизм внимания и нейронные сети
  • Формирует выходные данные

Компонент декодера в трансформере

Концепции больших языковых моделей (LLM)

Трансформеры и дальние зависимости

 

  • Исходная проблема: зависимости на большом расстоянии
  • Внимание: фокус на разных частях входных данных

 

  • Пример: «Jane, who lives in New York and works as a software engineer, loves exploring new restaurants in the city.»

  • «Jane» --- «loves exploring new restaurants»

Концепции больших языковых моделей (LLM)

Параллельная обработка нескольких частей

  • Ограничение традиционных языковых моделей:
    • Последовательная обработка — по одному слову

 

  • Трансформеры:
    • Обрабатывают несколько частей одновременно
    • Более высокая скорость обработки

 

  • Например:
    • «The cat sat on the mat»
    • «cat», «sat», «on», «the» и «mat» обрабатываются одновременно
Концепции больших языковых моделей (LLM)

Давайте потренируемся!

Концепции больших языковых моделей (LLM)

Preparing Video For Download...