Optimisation de l'IA pour la vitesse, le coût et la qualité

Coder avec l’aide de l’IA pour les développeurs

Francesca Donadoni

AI Curriculum Manager, DataCamp

Métriques

124.png

  • Latence (temps de réponse) : Durée nécessaire pour que le modèle génère une réponse
Coder avec l’aide de l’IA pour les développeurs

Métriques

135.png

  • Latence (temps de réponse) : Durée nécessaire pour que le modèle génère une réponse

$$

  • Coût par jeton (par 1M de jetons) : Coût d'utilisation d'un modèle IA
Coder avec l’aide de l’IA pour les développeurs

Métriques

126.png

  • Latence (temps de réponse) : Durée nécessaire pour que le modèle génère une réponse

$$

  • Coût par jeton (par 1M de jetons) : Coût d'utilisation d'un modèle IA

$$

  • Qualité (taux de réussite aux tests/couverture) : Fréquence à laquelle le code généré fonctionne comme prévu
Coder avec l’aide de l’IA pour les développeurs

Évaluation des modèles

$$

110.png

1 https://github.com/openai/human-eval
Coder avec l’aide de l’IA pour les développeurs

Évaluation des modèles

$$

111.png

1 https://github.com/bigcode-project/bigcodebench
Coder avec l’aide de l’IA pour les développeurs

Évaluation des modèles

$$

112.png

1 https://github.com/SWE-bench/SWE-bench
Coder avec l’aide de l’IA pour les développeurs

Évaluation des modèles

$$

113.png

1 https://github.com/JohnnyPeng18/Coffe
Coder avec l’aide de l’IA pour les développeurs

Versionnage des invites

115.png

Coder avec l’aide de l’IA pour les développeurs

Versionnage des invites

118.png

Coder avec l’aide de l’IA pour les développeurs

Versionnage des invites

119.png

Coder avec l’aide de l’IA pour les développeurs

Mise en cache des invites

  • La mise en cache fonctionne en stockant :
    • Invite
    • Entrée
    • Modèle
    • Température

prompt_caching.png

Coder avec l’aide de l’IA pour les développeurs

Passons à la pratique !

Coder avec l’aide de l’IA pour les développeurs

Preparing Video For Download...