Optymalizacja AI pod kątem szybkości, kosztów i jakości

Kodowanie wspomagane przez AI dla programistów

Francesca Donadoni

AI Curriculum Manager, DataCamp

Metryki

124.png

  • Opóźnienie (czas odpowiedzi): Czas potrzebny modelowi do wygenerowania odpowiedzi
Kodowanie wspomagane przez AI dla programistów

Metryki

135.png

  • Opóźnienie (czas odpowiedzi): Czas potrzebny modelowi do wygenerowania odpowiedzi

$$

  • Koszt tokenów (za 1M tokenów): Koszt finansowy korzystania z modelu AI
Kodowanie wspomagane przez AI dla programistów

Metryki

126.png

  • Opóźnienie (czas odpowiedzi): Czas potrzebny modelowi do wygenerowania odpowiedzi

$$

  • Koszt tokenów (za 1M tokenów): Koszt finansowy korzystania z modelu AI

$$

  • Jakość (współczynnik zaliczonych testów): Jak często wygenerowany kod działa zgodnie z oczekiwaniami
Kodowanie wspomagane przez AI dla programistów

Benchmarking modeli

$$

110.png

1 https://github.com/openai/human-eval
Kodowanie wspomagane przez AI dla programistów

Benchmarking modeli

$$

111.png

1 https://github.com/bigcode-project/bigcodebench
Kodowanie wspomagane przez AI dla programistów

Benchmarking modeli

$$

112.png

1 https://github.com/SWE-bench/SWE-bench
Kodowanie wspomagane przez AI dla programistów

Benchmarking modeli

$$

113.png

1 https://github.com/JohnnyPeng18/Coffe
Kodowanie wspomagane przez AI dla programistów

Wersjonowanie promptów

115.png

Kodowanie wspomagane przez AI dla programistów

Wersjonowanie promptów

118.png

Kodowanie wspomagane przez AI dla programistów

Wersjonowanie promptów

119.png

Kodowanie wspomagane przez AI dla programistów

Buforowanie promptów

  • Buforowanie przechowuje:
    • Prompt
    • Dane wejściowe
    • Model
    • Temperaturę

prompt_caching.png

Kodowanie wspomagane przez AI dla programistów

Czas na ćwiczenia!

Kodowanie wspomagane przez AI dla programistów

Preparing Video For Download...