Библиотеки для дообучения Llama

Файн-тюнинг с Llama 3

Francesca Donadoni

Curriculum Manager, DataCamp

Когда применять дообучение

  • Предобученная модель
  • Использует специализированные данные

Инженер по ИИ рассматривает представление параметров модели.

  • Повышение точности
  • Снижение предвзятости
  • Расширение базы знаний
Файн-тюнинг с Llama 3

Как применять дообучение

  • Качество данных
  • Ёмкость модели
  • Определение задачи

 

  • Процесс дообучения

Цикл обучения. Обучение порождает дообученную модель. Оценка выполняется с помощью дообученной модели и оценочного набора данных.

Файн-тюнинг с Llama 3

Как применять дообучение

  • Качество данных
  • Ёмкость модели
  • Определение задачи

 

  • Процесс дообучения

Цикл обучения. Обучающий набор данных запускает обучение, которое порождает дообученную модель. Оценка выполняется с помощью дообученной модели и оценочного набора данных.

Файн-тюнинг с Llama 3

Как применять дообучение

  • Качество данных
  • Ёмкость модели
  • Определение задачи

 

  • Процесс дообучения

Цикл обучения. Обучающий набор данных, модель и токенизатор запускают обучение, которое порождает дообученную модель. Оценка выполняется с помощью дообученной модели и оценочного набора данных.

Файн-тюнинг с Llama 3

Как применять дообучение

  • Качество данных
  • Ёмкость модели
  • Определение задачи

 

  • Процесс дообучения

Цикл обучения. Обучающий набор данных, аргументы, модель и токенизатор запускают обучение, которое порождает дообученную модель. Оценка выполняется с помощью дообученной модели и оценочного набора данных.

Файн-тюнинг с Llama 3

Как применять дообучение

  • Качество данных
  • Ёмкость модели
  • Определение задачи

 

  • Процесс дообучения
  • Новая модель
  • Оценка

Цикл обучения. Обучающий набор данных, аргументы, модель, токенизатор и класс дообучения запускают обучение, которое порождает дообученную модель. Оценка выполняется с помощью дообученной модели и оценочного набора данных.

Файн-тюнинг с Llama 3

Библиотеки для дообучения Llama

 

  • 📚 Несколько библиотек для дообучения

 

  • 🦙 TorchTune для дообучения Llama

 

  • 🚀 Запуск задачи дообучения с TorchTune
Файн-тюнинг с Llama 3

Варианты дообучения Llama

  • TorchTune
    • На основе настраиваемых шаблонов
    • Идеально для: быстрого масштабирования

Иконка часов, символизирующая быстрое экспериментирование.

  • SFTTrainer от Hugging Face
    • Доступ к другим LLM
    • Идеально для: дообучения нескольких моделей

Иконка, представляющая несколько моделей.

  • Unsloth
    • Эффективное использование памяти
    • Идеально для: ограниченного оборудования

Иконка, представляющая аппаратный процессор.

  • Axolotl
    • Модульный подход
    • Идеально для: работы без масштабной переконфигурации

Иконка шестерёнки и руки, символизирующая настройку конфигурации.

Файн-тюнинг с Llama 3

TorchTune и рецепты дообучения

 

 

  • Рецепты TorchTune:

    • Модульные шаблоны
    • Настраиваются под разные проекты
    • Поддерживают порядок в коде
    • Обеспечивают воспроизводимость

Иллюстрация приготовления супа как метафора понятия «рецепт».

Файн-тюнинг с Llama 3

Список TorchTune

 

  • Запуск из терминала
  • Среда с Python
  • Установка TorchTune
    pip3 install torchtune

  • Список доступных рецептов

    tune ls

  • ! при использовании IPython

    !tune ls
Файн-тюнинг с Llama 3

Список TorchTune

!tune ls
  • Вывод:
RECIPE                                   CONFIG                                  
full_finetune_single_device              llama3/8B_full_single_device            
                                         llama3_1/8B_full_single_device          
                                         llama3_2/1B_full_single_device          
                                         llama3_2/3B_full_single_device       
full_finetune_distributed                llama3/8B_full                          
                                         llama3_1/8B_full                        
                                         llama3_2/1B_full                          
                                         ...
Файн-тюнинг с Llama 3

Запуск TorchTune

 

  • Рецепт + --config + конфигурация

  • Запуск дообучения

    tune run full_finetune_single_device --config \
llama3_1/8B_lora_single_device

  • Параметры device=cpu или device=cuda

  • epochs=<int> (<int> — 0 или положительное целое)
Файн-тюнинг с Llama 3

Давайте потренируемся!

Файн-тюнинг с Llama 3

Preparing Video For Download...