Тонкая настройка

Концепции больших языковых моделей (LLM)

Vidhi Chugh

AI strategist and ethicist

Где мы находимся?

График прогресса, показывающий, что мы достигли этапа тонкой настройки

Концепции больших языковых моделей (LLM)

 

  • Предобучение

Изображение школьников как аналогия предобучения

          Школьное образование

 

  • Тонкая настройка

Изображение студентов университета как аналогия тонкой настройки

        Университетская специализация
1 Freepik
Концепции больших языковых моделей (LLM)

Проблемы «масштаба»

  • Тонкая настройка помогает
  • Мощные компьютеры
  • Эффективные методы обучения моделей
  • Большие объёмы обучающих данных

Изображение, показывающее доступность данных, время обучения и вычислительные мощности как проблемы при создании LLM

Концепции больших языковых моделей (LLM)

Вычислительные мощности

  • Память

  • Вычислительная мощность

  • Инфраструктура

  • Высокая стоимость

  • LLM:
    • Сотни тысяч центральных процессоров (CPU)
    • Десятки тысяч графических процессоров (GPU)
  • Персональный компьютер: 4–8 CPU и 1–2 GPU

Мужчина работает за компьютером, подключённым к большому серверу

1 Freepik
Концепции больших языковых моделей (LLM)

Эффективное обучение модели

Иллюстрация, символизирующая модель глубокого обучения

  • Время обучения очень велико

 

  • Может занимать недели или даже месяцы

 

  • Эффективное обучение модели = меньше времени

 

  • 355 лет вычислений на одном GPU
Концепции больших языковых моделей (LLM)

Доступность данных

 

  • Необходимость качественных данных
  • Для освоения сложностей и тонкостей языка

  • Несколько сотен гигабайт (ГБ) текстовых данных

    • Более миллиона книг

  • Огромный объём данных

  Две стопки переполненных папок, символизирующие большие данные

Концепции больших языковых моделей (LLM)

Преодоление сложностей

  • Тонкая настройка
    • Решает часть этих проблем
    • Адаптирует предобученную модель

 

  • Предобученная модель
    • Обучена на данных общего назначения
    • Не оптимизирована под конкретные задачи
    • Может быть настроена под конкретную задачу

Люди работают за огромным ноутбуком с инструментами и шестерёнками, символизируя тонкую настройку

Концепции больших языковых моделей (LLM)

Тонкая настройка vs. предобучение

  • Тонкая настройка

  • Вычисления

    • 1–2 CPU и GPU

 

  • Время обучения
    • Часы или дни

 

  • Данные
    • ~1 гигабайт

  • Предобучение

  • Вычисления

    • Тысячи CPU и GPU

 

  • Время обучения
    • Недели или месяцы

 

  • Данные
    • Сотни гигабайт
Концепции больших языковых моделей (LLM)

Давайте потренируемся!

Концепции больших языковых моделей (LLM)

Preparing Video For Download...