Виклики мовного моделювання

Концепції Large Language Models (LLMs)

Vidhi Chugh

AI strategist and ethicist

Послідовність важлива!

 

  • Я лише веду здоровий спосіб життя.

 

 

  • Різні позиції = різні значення

 

  • Лише я веду здоровий спосіб життя.

Ілюстрація людини з двома стрілками в протилежних напрямках і знаком питання над головою.

1 Freepik
Концепції Large Language Models (LLMs)

Моделювання контексту

Зображення показує, що слово 'Run' може мати кілька значень залежно від контексту.

Концепції Large Language Models (LLMs)

Моделювання контексту

Зображення показує слово 'Run' у значенні бігу підтюпцем.

Концепції Large Language Models (LLMs)

Моделювання контексту

Зображення показує слово 'Run' у значенні керування чи організації.

Концепції Large Language Models (LLMs)

Моделювання контексту

Зображення показує слово 'Run' у значенні запуску/роботи машини

Концепції Large Language Models (LLMs)

Моделювання контексту

Додавання більше контексту до попереднього зображення з прикладами різних значень.

Концепції Large Language Models (LLMs)

Далекодіапазонні залежності

 

  • Розпізнавати й поєднувати віддалені слова в реченні
  • Складно для традиційних мовних моделей

Приклад довготривалої залежності: "The book that the young girl, who had just returned from her vacation, carefully placed on the shelf was quite heavy."

Концепції Large Language Models (LLMs)

Навчання на одній задачі

Зображення з трьома прикладами навчання на одній задачі: підпис зображень, стислий виклад тексту та переклад.

  • Витратно за часом і ресурсами
  • Менш гнучке порівняно з сучасними LLM
Концепції Large Language Models (LLMs)

Навчання на кількох задачах

Зображення показує multi-task learning, що поєднує кілька можливостей в одній моделі.

  • Краще виконання кожної окремої задачі
  • Може впливати на точність і ефективність
  • Потрібно менше тренувальних даних завдяки спільному використанню
Концепції Large Language Models (LLMs)

Підсумуємо

Виклики мовного моделювання:

  • Послідовності слів

 

  • Розуміння контексту

 

  • Далекодіапазонні залежності

Навчання на одній задачі:

  • Під конкретну задачу
  • Менш гнучке
  • Традиційні моделі та ранні LLM

 

Навчання на кількох задачах:

  • Універсальне
  • Кілька задач
  • Більш розвинені LLM
Концепції Large Language Models (LLMs)

Давайте потренуємось!

Концепції Large Language Models (LLMs)

Preparing Video For Download...