Ewolucja generatywnej AI

Koncepcje generatywnej AI

Daniel Tedesco

Data Lead, Google

Generatywna AI pojawiła się na scenie w 2023 roku

Wykres pokazujący, ile miesięcy zajęło różnym produktom programistycznym osiągnięcie 100 milionów aktywnych użytkowników miesięcznie. Liderem jest ChatGPT – potrzebował tylko 2 miesięcy.

¹ Yahoo Finance

Kluczowe czynniki napędzające rozwój

Rozwój generatywnej AI napędzają:

Moc obliczeniowa
Dostępność zbiorów danych
Interesy konkurencyjne
Architektura modeli

Moc obliczeniowa umożliwiła tworzenie dużych modeli

Wykres przedstawiający wykładniczy wzrost mocy obliczeniowej potrzebnej do trenowania modeli AI – od poniżej 10^4 operacji zmiennoprzecinkowych w 1950 roku do 10^24 w 2022 roku.

Zrównoleglenie i wyspecjalizowany sprzęt
- Jednostki przetwarzania graficznego (GPU)
- Jednostki przetwarzania tensorów (TPU)
Chmura obliczeniowa
Optymalizacja sprzętu i oprogramowania

¹ Compute Trends Across Three Eras of Machine Learning, https://arxiv.org/abs/2202.05924

Ogromne zbiory danych poprawiły jakość modeli

Wzrost globalnej sfery danych Wykres pokazujący przyspieszający wzrost globalnej sfery danych – od 20 zettabajtów w 2015 roku do 180 zettabajtów w 2025 roku.

¹ IDC's Global DataSphere, 2021

Presja konkurencyjna przyspieszyła rozwój

Komercyjne Logo największych firm technologicznych

Polityczne Flagi wielu różnych państw

GAN-y umożliwiły generowanie wysokiej jakości treści

Obraz przedstawiający algorytm generatora, który wystawia algorytm dyskryminatora na próbę, każąc mu sklasyfikować mylące zdjęcia szczeniąt zwiniętych w kłębek, złudnie przypominających bajgle

Transformery nadały modelom kontekst i spójność

„it" odnosi się do „animal"

Zdanie „The animal didn't cross the street because it was too tired." Wyróżnione słowa: „it" i „animal".

„it" odnosi się do „street"

Zdanie „The animal didn't cross the street because it was too wide." Wyróżnione słowa: „it" i „street".

¹ https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html

Transformery nadały modelom kontekst i spójność

Transformery:

Rozumieją kontekst danego tekstu
Analizują relacje między słowami
Generują odpowiedzi brzmiące naturalnie i treściwie

RLHF wykorzystuje informacje zwrotne od użytkowników

Uczenie ze wzmocnieniem na podstawie informacji zwrotnej od człowieka (RLHF):

Uczenie ze wzmocnieniem trenuje modele metodą prób i błędów
Informacja zwrotna pochodzi od użytkowników oceniających odpowiedzi modelu

Schemat przepływu generatywnej AI z dodatkową pętlą: odpowiedź – ocena – model.

RLHF wykorzystuje informacje zwrotne od użytkowników

Zrzut ekranu interfejsu Midjourney z opcjami oceniania wyników generowania obrazów.

¹ Midjourney

Czas na praktykę!

Koncepcje generatywnej AI