Evoluția inteligenței artificiale generative

Concepte de AI generativ

Daniel Tedesco

Data Lead, Google

IA generativă a apărut brusc pe scenă în 2023

Grafic care arată numărul de luni necesare diferitelor produse software pentru a atinge 100 de milioane de utilizatori lunari. ChatGPT este lider, necesitând doar 2 luni.

1 Yahoo Finance
Concepte de AI generativ

Factori cheie care determină dezvoltarea

Mai mulți factori determină dezvoltarea IA generative:

  • Puterea de calcul
  • Disponibilitatea datelor
  • Interese competitive
  • Designul modelului
Concepte de AI generativ

Puterea de calcul a permis modele de mari dimensiuni

Grafic care arată creșterea exponențială a puterii de calcul necesare antrenării modelelor AI, de la sub 10^4 operații în virgulă mobilă în 1950 la 10^24 în 2022.

 

  • Paralelizare și hardware specializat
    • Unități de procesare grafică (GPU)
    • Unități de procesare tensorială (TPU)
  • Cloud computing
  • Optimizare hardware-software
1 Compute Trends Across Three Eras of Machine Learning, https://arxiv.org/abs/2202.05924
Concepte de AI generativ

Modelele s-au îmbunătățit cu seturi masive de date

Creșterea Globală a Datasphere-ului Grafic care arată creșterea accelerată a datasphere-ului global, de la 20 zettaocteți în 2015 la 180 zettaocteți în 2025.

1 IDC's Global DataSphere, 2021
Concepte de AI generativ

Presiunile competitive au accelerat dezvoltarea

Comercial Logo-urile marilor companii de tehnologie

Politic Steaguri internaționale diverse

Concepte de AI generativ

GAN-urile au permis generarea de înaltă calitate

Imagine a unui algoritm generator care provoacă un algoritm discriminator să clasifice imagini confuze cu cățeluși ghemuiți, asemănători cu covrigei

Concepte de AI generativ

Transformerele au adus context și coerență

„it" se referă la „animal"

Propoziția „The animal didn't cross the street because it was too tired." Cuvintele „it" și „animal" sunt evidențiate.

„it" se referă la „street"

Propoziția „The animal didn't cross the street because it was too wide." Cuvintele „it" și „street" sunt evidențiate.

1 https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
Concepte de AI generativ

Transformerele au adus context și coerență

 

Transformerele:

  • Înțeleg contextul unui text dat
  • Analizează relațiile dintre cuvinte
  • Generează răspunsuri naturale și informative
Concepte de AI generativ

RLHF a integrat feedbackul utilizatorilor

Învățare prin consolidare cu feedback uman (RLHF):

  • Antrenează modelele prin încercare și eroare
  • Feedbackul uman provine din scorurile acordate de utilizatori

Flux de IA generativă cu o buclă suplimentară: răspuns - feedback - model.

Concepte de AI generativ

RLHF a integrat feedbackul utilizatorilor

Captură de ecran a interfeței Midjourney cu opțiuni de evaluare a unui rezultat de imagine.

1 Midjourney
Concepte de AI generativ

Să exersăm!

Concepte de AI generativ

Preparing Video For Download...