Трудности языкового моделирования

Концепции больших языковых моделей (LLM)

Vidhi Chugh

AI strategist and ethicist

Порядок слов важен!

 

  • Я только веду здоровый образ жизни.

 

 

  • Разные позиции = разные значения

 

  • Только я веду здоровый образ жизни.

Иллюстрация человека с двумя стрелками в противоположных направлениях и знаком вопроса над головой.

1 Freepik
Концепции больших языковых моделей (LLM)

Моделирование контекста

Изображение, показывающее, что слово «Run» может иметь несколько значений в зависимости от контекста.

Концепции больших языковых моделей (LLM)

Моделирование контекста

Изображение, где слово «Run» означает бег.

Концепции больших языковых моделей (LLM)

Моделирование контекста

Изображение, где слово «Run» означает управление или организацию.

Концепции больших языковых моделей (LLM)

Моделирование контекста

Изображение, где слово «Run» означает эксплуатацию машины.

Концепции больших языковых моделей (LLM)

Моделирование контекста

Дополнение предыдущего изображения: различные контекстные значения проиллюстрированы примерами.

Концепции больших языковых моделей (LLM)

Дальняя зависимость

 

  • Распознавание и связывание удалённых слов в предложении
  • Сложная задача для традиционных языковых моделей

Пример дальней зависимости: «Книга, которую молодая девушка, только что вернувшаяся из отпуска, аккуратно поставила на полку, оказалась довольно тяжёлой.»

Концепции больших языковых моделей (LLM)

Обучение на одну задачу

Изображение с тремя примерами обучения на одну задачу: создание подписей к изображениям, реферирование текста и машинный перевод.

  • Требует значительных временных и вычислительных ресурсов
  • Менее гибко по сравнению с современными LLM
Концепции больших языковых моделей (LLM)

Многозадачное обучение

Изображение, показывающее многозадачное обучение, объединяющее несколько возможностей в одной модели.

  • Улучшение результатов по каждой отдельной задаче
  • Может влиять на точность и эффективность
  • Требует меньше обучающих данных за счёт их совместного использования
Концепции больших языковых моделей (LLM)

Подведём итоги

Трудности языкового моделирования:

  • Последовательности слов

 

  • Понимание контекста

 

  • Дальняя зависимость

Обучение на одну задачу:

  • Ориентировано на конкретную задачу
  • Менее гибкое
  • Традиционные модели и ранние LLM

 

Многозадачное обучение:

  • Универсальное
  • Несколько задач одновременно
  • Более развитые LLM
Концепции больших языковых моделей (LLM)

Давайте потренируемся!

Концепции больших языковых моделей (LLM)

Preparing Video For Download...