Еволюція генеративного ШІ

Концепції Generative AI

Daniel Tedesco

Data Lead, Google

Генеративний ШІ вибухнув у 2023 році

Діаграма місяців, за які ПЗ досягли 100 млн активних користувачів на місяць. Лідер — ChatGPT: лише 2 місяці.

¹ Yahoo Finance

Розвиток генеративного ШІ рухають:

Діаграма експоненційного зростання обчислень для тренування моделей ШІ: з < 10^4 FLOPs у 1950 до 10^24 FLOPs у 2022.

Паралелізація та спеціалізоване залізо
- Graphics Processing Units (GPUs)
- Tensor Processing Units (TPUs)
Хмарні обчислення
Оптимізація «залізо–ПЗ»

¹ Compute Trends Across Three Eras of Machine Learning, https://arxiv.org/abs/2202.05924

Зростання глобальної дата-сфери Діаграма прискореного зростання глобальної дата-сфери: з 20 зетабайтів у 2015 до 180 зетабайтів у 2025.

¹ IDC's Global DataSphere, 2021

Комерційні Логотипи провідних технологічних компаній

Політичні Багато різних міжнародних прапорів

Зображення, де генератор змагається з дискримінатором у класифікації заплутаних фото цуценят, згорнутих клубочком і схожих на бублики

«it» стосується «animal»

Речення: "The animal didn't cross the street because it was too tired." Виділено слова 'it' і 'animal'.

«it» стосується «street»

Речення: "The animal didn't cross the street because it was too wide." Виділено слова 'it' і 'street'.

¹ https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html

Трансформери:

Reinforcement Learning with Human Feedback (RLHF):

Потік генеративного ШІ з додатковою петлею: відповідь → фідбек → модель.

Скріншот інтерфейсу Midjourney з опціями оцінювання зображення.

¹ Midjourney

Концепції Generative AI