Entraînement du modèle

Concepts en IA générative

Daniel Tedesco

Data Lead, Google

Choisir votre mode d'« train »-sport

Image d'un avion et d'une voiture.

Matériel
Temps
- Taille de l'ensemble de données
- Complexité du modèle
- Nombre de passes d'entraînement
Coût

Passer aux techniques avancées

Un modèle génératif de base est un premier pas
Des techniques avancées les spécialisent pour des contextes précis

Techniques avancées clés :

Apprentissage par transfert et réglage fin
RLHF
Intégrations personnalisées

Photo d'étudiantes et d'étudiants à leur remise de diplômes

Des chats aux lions

L'apprentissage par transfert réutilise des acquis d'une tâche à une autre
Le réglage fin est un type d'apprentissage par transfert pour un petit jeu de données

Un modèle apprend avec des images de lions, dit « Toujours poilu, quatre pattes… compris ! », puis produit une image de lion

¹ Creative Commons Attribution-Share Alike 4.0, générateur d'images Bing

Où vont vos commentaires ?

Image de l'interface de clavardage Google Bard avec les options « pouce en l'air » et « pouce en bas » mises en évidence

¹ Google Bard, 2023

Des pouces levés pour de meilleures réponses

Plusieurs réponses textuelles évaluées avec pouce en l'air ou en bas sont transmises à un robot qui dit : « D'accord, je sais maintenant quelles réponses les humains préfèrent »

¹ Google Bard, 2023

Les embeddings comme empreintes

Comme reconnaître une empreinte digitale
Représentations uniques d'entités de données
Capturent sens, contexte et relations sous forme compacte

Une série d'empreintes digitales

¹ Wikimedia Commons

Créer un embedding de Dan

Divers portraits de Daniel Tedesco fournis à une IA générative

¹ Daniel Tedesco, 2023

Embedding de Dan réalisé

Un modèle produit divers portraits stylisés de Daniel Tedesco

¹ Portraits de Daniel Tedesco provenant de vana.com

Passons à la pratique !

Concepts en IA générative