Техніки навчання

Концепції Large Language Models (LLMs)

Vidhi Chugh

AI strategist and ethicist

Де ми зараз?

Діаграма прогресу: ми дійшли до етапу донавчання

Концепції Large Language Models (LLMs)

Як подолати обмеження даних

 

  • Донавчання (fine-tuning): навчання попередньо натренованої моделі для конкретного завдання

 

  • А що, як майже немає розмічених даних?

 

  • N-shot learning: zero-shot, few-shot і multi-shot
Концепції Large Language Models (LLMs)

Transfer learning

  • Навчитися на одному завданні й перенести на споріднене
  • Перенесення знань з піаніно на гітару
    • Читання нот
    • Розуміння ритму
    • Оволодіння музичними поняттями
  • N-shot learning
    • Zero-shot — без даних під завдання
    • Few-shot — мало даних під завдання
    • Multi-shot — відносно більше тренувальних даних

Ілюстрація піаніно та гітари

Концепції Large Language Models (LLMs)

Zero-shot learning

  • Без явного навчання
  • Використовує розуміння мови й контекст
  • Узагальнює без попередніх прикладів

Зображення показує, як окреме навчання на конях і смугастих візерунках допомагає моделі розпізнати зебру.

1 Freepik
Концепції Large Language Models (LLMs)

Few-shot learning

  • Вивчити нове завдання з кількох прикладів

Зображення класної кімнати

  • One-shot learning: донавчання з одного прикладу
  • Попередні знання, щоб відповісти на нове запитання

Зображення дитини, що пише екзамен

Концепції Large Language Models (LLMs)

Multi-shot learning

  • Потрібно більше прикладів, ніж для few-shot

 

  • Попередні завдання плюс нові приклади

 

  • Наприклад, модель, навчена на Golden Retriever

Зображення трьох голден-ретриверів

1 Freepik
Концепції Large Language Models (LLMs)

Multi-shot learning

  • Вихід моделі: Labrador Retriever

 

  • Економить час на збирання та розмічання даних

 

  • Без втрати точності

Зображення лабрадора

1 Freepik
Концепції Large Language Models (LLMs)

Будівельні блоки наразі

  • Конвеєр підготовки даних

 

  • Донавчання

 

  • Техніки N-shot learning

 

  • Далі: попереднє навчання
Концепції Large Language Models (LLMs)

Давайте потренуємось!

Концепції Large Language Models (LLMs)

Preparing Video For Download...