Эволюция генеративного ИИ

Концепции генеративного ИИ

Daniel Tedesco

Data Lead, Google

Генеративный ИИ вышел на сцену в 2023 году

График, показывающий, сколько месяцев потребовалось различным программным продуктам для достижения 100 миллионов ежемесячных пользователей. Лидирует ChatGPT — всего 2 месяца.

1 Yahoo Finance
Концепции генеративного ИИ

Ключевые факторы развития

Развитие генеративного ИИ определяют несколько факторов:

  • Вычислительные мощности
  • Доступность данных
  • Конкурентная среда
  • Архитектура моделей
Концепции генеративного ИИ

Вычислительные мощности позволили создавать большие модели

График, показывающий экспоненциальный рост вычислительных мощностей для обучения моделей ИИ: от менее 10^4 операций с плавающей точкой в 1950 году до 10^24 в 2022 году.

 

  • Параллелизация и специализированное оборудование
    • Графические процессоры (GPU)
    • Тензорные процессоры (TPU)
  • Облачные вычисления
  • Оптимизация аппаратного и программного обеспечения
1 Compute Trends Across Three Eras of Machine Learning, https://arxiv.org/abs/2202.05924
Концепции генеративного ИИ

Большие наборы данных улучшили модели

Рост глобального объёма данных График, показывающий ускоренный рост глобального объёма данных: с 20 зеттабайт в 2015 году до 180 зеттабайт в 2025 году.

1 IDC's Global DataSphere, 2021
Концепции генеративного ИИ

Конкурентное давление ускорило развитие

Коммерческий Логотипы крупных технологических компаний

Политический Флаги различных государств

Концепции генеративного ИИ

GAN обеспечили высокое качество генерации

Изображение: алгоритм-генератор предлагает алгоритму-дискриминатору классифицировать несколько похожих фотографий щенков, свернувшихся в клубок и напоминающих бублики

Концепции генеративного ИИ

Трансформеры обеспечили контекст и связность

«it» относится к «animal»

Предложение «The animal didn't cross the street because it was too tired.» Слова «it» и «animal» выделены.

«it» относится к «street»

Предложение «The animal didn't cross the street because it was too wide.» Слова «it» и «street» выделены.

1 https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
Концепции генеративного ИИ

Трансформеры обеспечили контекст и связность

 

Трансформеры:

  • Понимают контекст текста
  • Анализируют связи между словами
  • Генерируют естественные и информативные ответы
Концепции генеративного ИИ

RLHF задействовал обратную связь от пользователей

Обучение с подкреплением на основе обратной связи от людей (RLHF):

  • Обучение с подкреплением тренирует модели методом проб и ошибок
  • Обратная связь поступает от пользователей, оценивающих ответы модели

Схема генеративного ИИ с дополнительным циклом: ответ — обратная связь — модель.

Концепции генеративного ИИ

RLHF задействовал обратную связь от пользователей

Скриншот интерфейса Midjourney с опциями оценки результата генерации изображения.

1 Midjourney
Концепции генеративного ИИ

Давайте потренируемся!

Концепции генеративного ИИ

Preparing Video For Download...