स्पीड, लागत और क्वालिटी के लिए AI ऑप्टिमाइज़ करना

डेवलपर्स के लिए AI-असिस्टेड कोडिंग

Francesca Donadoni

AI Curriculum Manager, DataCamp

मेट्रिक्स

124.png

  • Latency (response time): मॉडल को जवाब जनरेट करने में लगने वाला समय
डेवलपर्स के लिए AI-असिस्टेड कोडिंग

मेट्रिक्स

135.png

  • Latency (response time): मॉडल को जवाब जनरेट करने में लगने वाला समय

$$

  • Token cost (per 1M tokens): AI मॉडल इस्तेमाल करने की मौद्रिक लागत
डेवलपर्स के लिए AI-असिस्टेड कोडिंग

मेट्रिक्स

126.png

  • Latency (response time): मॉडल को जवाब जनरेट करने में लगने वाला समय

$$

  • Token cost (per 1M tokens): AI मॉडल इस्तेमाल करने की मौद्रिक लागत

$$

  • Quality (pass rate on tests/coverage): जनरेटेड कोड कितनी बार अपेक्षित रूप से काम करता है
डेवलपर्स के लिए AI-असिस्टेड कोडिंग

मॉडल बेंचमार्किंग

$$

110.png

1 https://github.com/openai/human-eval
डेवलपर्स के लिए AI-असिस्टेड कोडिंग

मॉडल बेंचमार्किंग

$$

111.png

1 https://github.com/bigcode-project/bigcodebench
डेवलपर्स के लिए AI-असिस्टेड कोडिंग

मॉडल बेंचमार्किंग

$$

112.png

1 https://github.com/SWE-bench/SWE-bench
डेवलपर्स के लिए AI-असिस्टेड कोडिंग

मॉडल बेंचमार्किंग

$$

113.png

1 https://github.com/JohnnyPeng18/Coffe
डेवलपर्स के लिए AI-असिस्टेड कोडिंग

प्रॉम्प्ट वर्शनिंग

115.png

डेवलपर्स के लिए AI-असिस्टेड कोडिंग

प्रॉम्प्ट वर्शनिंग

118.png

डेवलपर्स के लिए AI-असिस्टेड कोडिंग

प्रॉम्प्ट वर्शनिंग

119.png

डेवलपर्स के लिए AI-असिस्टेड कोडिंग

प्रॉम्प्ट कैशिंग

  • कैशिंग इस तरह स्टोर करती है:
    • Prompt
    • Input
    • Model
    • Temperature

prompt_caching.png

डेवलपर्स के लिए AI-असिस्टेड कोडिंग

अभ्यास करते हैं!

डेवलपर्स के लिए AI-असिस्टेड कोडिंग

Preparing Video For Download...