L'évolution de l'IA générative

Concepts d'IA générative

Daniel Tedesco

Data Lead, Google

L'IA générative fait son apparition en 2023

Graphique montrant le nombre de mois qu'il a fallu à différents logiciels pour atteindre 100 millions d'utilisateurs mensuels. ChatGPT est en tête, en 2 mois seulement

1 Yahoo Finance
Concepts d'IA générative

Facteurs clés de développement

Plusieurs facteurs motivent le développement de l'IA générative :

  • Puissance de calcul
  • Disponibilité des données
  • Intérêts concurrentiels
  • Modèle de conception
Concepts d'IA générative

La puissance de calcul a permis de réaliser de grands modèles

Graphique illustrant l'explosion exponentielle de la puissance de calcul requise pour entraîner les modèles d'intelligence artificielle, passant de moins de 10⁴ opérations en virgule flottante en 1950 à près de 10²⁴ en 2022.

 

  • Parallélisation et matériel spécialisé
    • Unités de traitement graphique (GPU)
    • Unités de traitement tensoriel (TPU)
  • Cloud
  • Optimisation matérielle et logicielle
1 Tendances en matière de calcul à travers trois époques de machine learning, https://arxiv.org/abs/2202.05924
Concepts d'IA générative

Modèles améliorés grâce à des ensembles de données massifs

Croissance mondiale de la sphère de données Graphique montrant l'accélération de la croissance de la sphère de données mondiale, de 20 zettaoctets en 2015 à 180 zettaoctets en 2025

1 Global DataSphere d'IDC, 2021
Concepts d'IA générative

Les pressions concurrentielles ont encouragé un développement plus rapide

Commercial Logos des grandes entreprises technologiques

Politique De nombreux drapeaux internationaux différents

Concepts d'IA générative

Les GAN ont libéré un potentiel de génération de haute qualité

Image d'un algorithme générateur mettant au défi un algorithme discriminateur de classer plusieurs images confuses de chiots blottis les uns contre les autres et ressemblant à des bagels

Concepts d'IA générative

Les transformateurs ont apporté contexte et cohérence

Le terme « il » fait référence à un animal

La phrase « L'animal n'a pas traversé le chemin parce qu'il était trop fatigué. » Les mots « il » et « animal » sont surlignés.

Le terme « il » fait référence au « chemin ».

La phrase « L'animal n'a pas traversé le chemin parce qu'il était trop large. » Les mots « il » et « chemin » sont surlignés

1 https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
Concepts d'IA générative

Les transformateurs ont apporté contexte et cohérence

 

Les transformateurs :

  • Saisissent le contexte d'un texte donné
  • Analysent les relations entre les mots
  • Génèrent des réponses qui semblent naturelles et informatives
Concepts d'IA générative

Le RLHF a pris en compte le retour d'information des utilisateurs

Entraînement par renforcement à partir de rétroactions humaines (RLHF) :

  • L'entraînement par renforcement permet d’entraîner des modèles par le biais d’interactions essai-erreur.
  • Le retour d'information humain provient des utilisateurs qui notent les réponses du modèle

Un flux d'IA génératif, avec une boucle supplémentaire : réponse au retour d'information vers le modèle.

Concepts d'IA générative

Le RLHF a pris en compte le retour d'information des utilisateurs

Une capture d'écran de l'interface utilisateur de Midjourney avec des options pour évaluer le résultat d'une image

1 Midjourney
Concepts d'IA générative

Passons à la pratique !

Concepts d'IA générative

Preparing Video For Download...