Техники обучения

Концепции больших языковых моделей (LLM)

Vidhi Chugh

AI strategist and ethicist

Где мы находимся?

Работа с ограниченными данными

 

• Тонкая настройка: дообучение предобученной модели для конкретной задачи

 

• Но что делать, если размеченных данных мало или нет совсем?

 

• N-shot обучение: zero-shot, few-shot и multi-shot

Трансферное обучение

• Знания из одной задачи переносятся на связанную
• Перенос навыков с фортепиано на гитару
  • Чтение нот
  • Понимание ритма
  • Усвоение музыкальных концепций

• N-shot обучение
  • Zero-shot — без данных по задаче
  • Few-shot — минимум данных по задаче
  • Multi-shot — относительно больше данных

Zero-shot обучение

• Без явного обучения
• Использует языковое понимание и контекст
• Обобщает без предварительных примеров

¹ Freepik

Few-shot обучение

• Обучение новой задаче по нескольким примерам

• One-shot обучение: тонкая настройка по одному примеру

• Использование предыдущих знаний для ответа на новый вопрос

Multi-shot обучение

• Требует больше примеров, чем few-shot

 

• Предыдущие задачи плюс новые примеры

 

• Например, модель обучена на золотистом ретривере

¹ Freepik

Multi-shot обучение

• Вывод модели: лабрадор-ретривер

 

• Экономит время на сборе и разметке данных

 

• Без потери точности

¹ Freepik

Пройденные этапы

• Подготовка данных

 

• Тонкая настройка

 

• Техники N-shot обучения

 

• Далее: предобучение

Давайте потренируемся!

Концепции больших языковых моделей (LLM)