L'évolution de l'IA générative

Concepts en IA générative

Daniel Tedesco

Data Lead, Google

L'IA générative a explosé en 2023

Un graphique montrant le nombre de mois requis pour que divers produits logiciels atteignent 100 millions d'utilisateurs mensuels. ChatGPT est en tête, avec seulement 2 mois.

¹ Yahoo Finance

Facteurs clés de développement

Plusieurs facteurs propulsent l'IA générative :

Puissance de calcul
Disponibilité des ensembles de données
Intérêts concurrentiels
Conception des modèles

La puissance de calcul a permis de grands modèles

Un graphique montrant la croissance exponentielle de la puissance de calcul requise pour l'entraînement de modèles d'IA, de moins de 10^4 opérations en virgule flottante en 1950 à 10^24 en 2022.

Parallélisation et matériel spécialisé
- Graphics Processing Units (GPUs)
- Tensor Processing Units (TPUs)
Infonuagique
Optimisation matériel-logiciel

¹ Compute Trends Across Three Eras of Machine Learning, https://arxiv.org/abs/2202.05924

Les modèles se sont améliorés grâce à d'immenses jeux de données

Croissance du datasphère mondial Un graphique montrant l'accélération de la croissance du datasphère mondial, de 20 zettaoctets en 2015 à 180 zettaoctets en 2025.

¹ IDC's Global DataSphere, 2021

Les pressions concurrentielles ont accéléré le développement

Commercial Logos de grandes entreprises technologiques

Politique De nombreux drapeaux internationaux

Les GAN ont permis une génération de haute qualité

Image d'un algorithme générateur défiant un discriminateur à classer des images ambiguës de chiots enroulés ressemblant à des bagels

Les transformers ont apporté contexte et cohérence

« it » renvoie à « animal »

La phrase « The animal didn't cross the street because it was too tired. ». Les mots « it » et « animal » sont surlignés.

« it » renvoie à « street »

La phrase « The animal didn't cross the street because it was too wide. ». Les mots « it » et « street » sont surlignés.

¹ https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html

Les transformers ont apporté contexte et cohérence

Transformers :

Saisissent le contexte d'un texte donné
Analysent les relations entre les mots
Génèrent des réponses naturelles et informatives

Le RLHF a mobilisé la rétroaction des utilisateurs

Reinforcement Learning with Human Feedback (RLHF) :

L'apprentissage par renforcement entraîne les modèles par essais-erreurs
La rétroaction humaine provient d'utilisateurs qui notent les réponses du modèle

Un flux d'IA générative, avec une boucle additionnelle : réponse → rétroaction → modèle.

Le RLHF a mobilisé la rétroaction des utilisateurs

Capture d'écran de l'interface Midjourney avec des options pour évaluer une image produite.

¹ Midjourney

Passons à la pratique !

Concepts en IA générative