Знайомство з трансформером

Концепції Large Language Models (LLMs)

Vidhi Chugh

AI strategist and ethicist

Де ми зараз?

Діаграма прогресу: ми на етапі вивчення трансформера

Концепції Large Language Models (LLMs)

Що таке трансформер?

  • «Attention Is All You Need»
    • Здійснила прорив у мовному моделюванні

 

  • Архітектура трансформера
    • Зв'язки між словами
    • Компоненти: передобробка, позиційне кодування, енкодери та декодери

Фрагмент статті «Attention Is All You Need»

1 arXiv: Attention Is All You Need
Концепції Large Language Models (LLMs)

Всередині трансформера

 

  • Вхід: Jane, who lives in New York and works as a software

 

Внутрішні компоненти та потік даних у трансформері

 

  • Вихід: engineer, loves exploring new restaurants in the city.
Концепції Large Language Models (LLMs)

Трансформери — як оркестр

Зображення оркестру

Концепції Large Language Models (LLMs)

Передобробка і подання тексту

  • Передобробка тексту: токенізація, вилучення стоп-слів, лематизація
  • Подання тексту: векторизація слів

Підсвітка першого компонента трансформера та окремих нот

Концепції Large Language Models (LLMs)

Позиційне кодування

  • Інформація про позицію кожного слова
  • Розуміння далеких залежностей

Підсвітка другого компонента трансформера та уривок нот

Концепції Large Language Models (LLMs)

Енкодери

  • Механізм уваги: спрямовує фокус на потрібні слова та зв'язки
  • Нейронна мережа: опрацьовує вибрані ознаки

Енкодер у потоці трансформера

Концепції Large Language Models (LLMs)

Декодери

  • Містить увагу та нейронні мережі
  • Генерує вихід

Декодер у складі трансформера

Концепції Large Language Models (LLMs)

Трансформери й далекі залежності

 

  • Початкова проблема: довготривалі залежності
  • Увага: фокусується на різних частинах вхідних даних

 

  • Приклад: "Jane, who lives in New York and works as a software engineer, loves exploring new restaurants in the city."

  • "Jane" — "loves exploring new restaurants"

Концепції Large Language Models (LLMs)

Опрацьовує кілька частин одночасно

  • Обмеження традиційних мовних моделей:
    • Послідовні — по одному слову

 

  • Трансформери:
    • Опрацьовують кілька частин одночасно
    • Швидше опрацювання

 

  • Наприклад:
    • "The cat sat on the mat"
    • Опрацьовує «cat», «sat», «on», «the» і «mat» одночасно
Концепції Large Language Models (LLMs)

Давайте потренуємось!

Концепції Large Language Models (LLMs)

Preparing Video For Download...