Новизна LLM

Концепції Large Language Models (LLMs)

Vidhi Chugh

AI strategist and ethicist

Використання текстових даних

Зображення, що показує аналіз тональності, виявлення спаму та цифрових асистентів

  • Неструктуровані дані — хаотичні й непослідовні
1 Freepik
Концепції Large Language Models (LLMs)

Машини не розуміють мову!

Зображення, що ілюструє нездатність комп'ютера розуміти мову як є

1 Freepik
Концепції Large Language Models (LLMs)

Потреба в NLP

 

Зображення, що показує NLP як міст між текстом і числами, які розуміє комп'ютер

1 Freepik
Концепції Large Language Models (LLMs)

Унікальні можливості LLM

 

  • Мовні тонкощі
    • Іронія
    • Гумор
    • Каламбур
    • Сарказм
    • Інтонація
    • Намір

Людина з планшетом вказує на загальний текст і великий знак питання

1 Freepik
Концепції Large Language Models (LLMs)

Яка ваша улюблена книга?

 

  • Природна відповідь: «Ох, це складне питання!»

 

  • Особиста думка: «Моя улюблена книжка всіх часів — "Убити пересмішника" Гарпер Лі.»

 

  • Підтримувальне твердження: «Це сильна історія про упередження, справедливість і людський досвід.»

 

  • Уточнювальне запитання: «Ви її читали?»
Концепції Large Language Models (LLMs)

Мовні тонкощі

Сарказм: «О, чудово, ще одна нарада.»

Традиційна мовна модель:

  • Відповідь: «Про що нарада?»
    • Нейтрально
    • Не розпізнає сарказм

 

Велика мовна модель:

  • Відповідь: «Здається, ви вже не дочекаєтесь!»
    • Грайливо
    • Залучає
    • Підхоплює сарказм
Концепції Large Language Models (LLMs)

Як LLM розуміють

 

  • Навчені на величезних обсягах даних

  • «Величина» LLM: параметри

  • Параметри відображають закономірності та правила

  • Більше параметрів → складніші шаблони

  • Генерують точні й витончені відповіді

Концепції Large Language Models (LLMs)

Параметри

 

  • Мало цеглинок → обмежені конструкції

Зображення з невеликою кількістю блоків

 

  • Більше цеглинок → складні й деталізовані конструкції

Зображення з великою кількістю блоків

Концепції Large Language Models (LLMs)

Поява нових можливостей

 

  • Емерджентні здібності
    • з'являються лише в масштабних моделях

 

  • Масштаб:

    • Обсяг тренувальних даних
    • Кількість параметрів моделі

 

Графік раптового покращення якості моделі, коли масштаб перевищує поріг переходу

Концепції Large Language Models (LLMs)

Поява нових можливостей

 

Зображення нових можливостей: музика, поезія, генерація коду, медична діагностика та плани лікування

Концепції Large Language Models (LLMs)

Будівельні блоки LLM

Будівельні блоки LLM

Концепції Large Language Models (LLMs)

Підсумуємо

LLM:

  • Д долають неструктурованість даних

 

  • Перевершують традиційні моделі

 

  • Розуміють мовні тонкощі

Як?

  • «Величина» LLM
  • Великі тренувальні дані
  • Багато параметрів
  • Емерджентні здібності
Концепції Large Language Models (LLMs)

Давайте потренуємось!

Концепції Large Language Models (LLMs)

Preparing Video For Download...