Optimiser l'IA pour la vitesse, le coût et la qualité

Programmation assistée par l'IA pour développeurs et développeuses

Francesca Donadoni

AI Curriculum Manager, DataCamp

Mesures

124.png

  • Latence (temps de réponse) : durée nécessaire au modèle pour générer une réponse
Programmation assistée par l'IA pour développeurs et développeuses

Mesures

135.png

  • Latence (temps de réponse) : durée nécessaire au modèle pour générer une réponse

$$

  • Coût par jeton (par 1 M de jetons) : dépense monétaire liée à l'usage d'un modèle d'IA
Programmation assistée par l'IA pour développeurs et développeuses

Mesures

126.png

  • Latence (temps de réponse) : durée nécessaire au modèle pour générer une réponse

$$

  • Coût par jeton (par 1 M de jetons) : dépense monétaire liée à l'usage d'un modèle d'IA

$$

  • Qualité (taux de réussite aux tests/couverture) : fréquence à laquelle le code généré fonctionne comme prévu
Programmation assistée par l'IA pour développeurs et développeuses

Étalonnage des modèles

$$

110.png

1 https://github.com/openai/human-eval
Programmation assistée par l'IA pour développeurs et développeuses

Étalonnage des modèles

$$

111.png

1 https://github.com/bigcode-project/bigcodebench
Programmation assistée par l'IA pour développeurs et développeuses

Étalonnage des modèles

$$

112.png

1 https://github.com/SWE-bench/SWE-bench
Programmation assistée par l'IA pour développeurs et développeuses

Étalonnage des modèles

$$

113.png

1 https://github.com/JohnnyPeng18/Coffe
Programmation assistée par l'IA pour développeurs et développeuses

Gestion des versions de invites

115.png

Programmation assistée par l'IA pour développeurs et développeuses

Gestion des versions de invites

118.png

Programmation assistée par l'IA pour développeurs et développeuses

Gestion des versions de invites

119.png

Programmation assistée par l'IA pour développeurs et développeuses

Mise en cache des invites

  • La mise en cache fonctionne en stockant :
    • l'invite
    • l'entrée
    • le modèle
    • la température

prompt_caching.png

Programmation assistée par l'IA pour développeurs et développeuses

Passons à la pratique !

Programmation assistée par l'IA pour développeurs et développeuses

Preparing Video For Download...