Новизна LLM

Концепции больших языковых моделей (LLM)

Vidhi Chugh

AI strategist and ethicist

Работа с текстовыми данными

Изображение, показывающее анализ тональности, обнаружение спама и цифровые ассистенты

  • Неструктурированные данные — неупорядоченные и непоследовательные
1 Freepik
Концепции больших языковых моделей (LLM)

Машины не понимают язык!

Изображение, показывающее неспособность компьютера интерпретировать язык в его естественной форме

1 Freepik
Концепции больших языковых моделей (LLM)

Зачем нужен NLP

 

Изображение, показывающее NLP как мост между текстом и числами, которые затем воспринимаются компьютером

1 Freepik
Концепции больших языковых моделей (LLM)

Уникальные возможности LLM

 

  • Языковые тонкости
    • Ирония
    • Юмор
    • Каламбур
    • Сарказм
    • Интонация
    • Намерение

Человек с планшетом указывает на текст рядом с большим вопросительным знаком

1 Freepik
Концепции больших языковых моделей (LLM)

Какая ваша любимая книга?

 

  • Естественный ответ: «О, это непростой вопрос!»

 

  • Личное мнение: «Моя любимая книга всех времён — „Убить пересмешника" Харпер Ли.»

 

  • Обоснование: «Это мощная история о предрассудках, справедливости и человеческом опыте.»

 

  • Встречный вопрос: «А вы читали её?»
Концепции больших языковых моделей (LLM)

Языковые тонкости

Сарказм: «Отлично, ещё одно совещание.»

Традиционная языковая модель:

  • Ответ: «О чём будет совещание?»
    • Нейтральный
    • Не улавливает сарказм

 

Большая языковая модель:

  • Ответ: «Похоже, вы очень ждёте этой встречи!»
    • Игривый
    • Вовлекающий
    • Отражает сарказм
Концепции больших языковых моделей (LLM)

Как LLM понимают язык

 

  • Обучены на огромных объёмах данных

  • «Большой» масштаб LLM: параметры

  • Параметры кодируют закономерности и правила

  • Больше параметров → сложнее закономерности

  • Более точные и развёрнутые ответы

Концепции больших языковых моделей (LLM)

Параметры

 

  • Мало кирпичиков → простые конструкции

Изображение, показывающее небольшое количество блоков

 

  • Много кирпичиков → сложные и детализированные конструкции

Изображение, показывающее большое количество блоков

Концепции больших языковых моделей (LLM)

Появление новых возможностей

 

  • Эмерджентные способности
    • проявляются только в крупномасштабных моделях

 

  • Масштаб:

    • Объём обучающих данных
    • Количество параметров модели

 

График, показывающий резкий рост производительности модели при превышении порогового значения масштаба

Концепции больших языковых моделей (LLM)

Появление новых возможностей

 

Изображение, показывающее новые возможности: создание музыки, поэзии, кода, медицинская диагностика и лечение

Концепции больших языковых моделей (LLM)

Строительные блоки LLM

Строительные блоки LLM

Концепции больших языковых моделей (LLM)

Подведём итоги

LLM:

  • Справляются с неструктурированностью данных

 

  • Превосходят традиционные модели

 

  • Понимают языковые тонкости

Как?

  • «Большой» масштаб LLM
  • Большие объёмы обучающих данных
  • Множество параметров
  • Эмерджентные способности
Концепции больших языковых моделей (LLM)

Давайте потренируемся!

Концепции больших языковых моделей (LLM)

Preparing Video For Download...