Оптимізація ШІ за швидкістю, вартістю та якістю

Кодування з підтримкою ШІ для розробників

Francesca Donadoni

AI Curriculum Manager, DataCamp

Метрики

124.png

  • Latency (час відповіді): скільки часу моделі потрібно, щоб згенерувати відповідь
Кодування з підтримкою ШІ для розробників

Метрики

135.png

  • Latency (час відповіді): скільки часу моделі потрібно, щоб згенерувати відповідь

$$

  • Вартість токенів (за 1M tokens): грошові витрати на використання моделі ШІ
Кодування з підтримкою ШІ для розробників

Метрики

126.png

  • Latency (час відповіді): скільки часу моделі потрібно, щоб згенерувати відповідь

$$

  • Вартість токенів (за 1M tokens): грошові витрати на використання моделі ШІ

$$

  • Якість (прохідність тестів/покриття): як часто згенерований код працює як задумано
Кодування з підтримкою ШІ для розробників

Бенчмаркинг моделей

$$

110.png

1 https://github.com/openai/human-eval
Кодування з підтримкою ШІ для розробників

Бенчмаркинг моделей

$$

111.png

1 https://github.com/bigcode-project/bigcodebench
Кодування з підтримкою ШІ для розробників

Бенчмаркинг моделей

$$

112.png

1 https://github.com/SWE-bench/SWE-bench
Кодування з підтримкою ШІ для розробників

Бенчмаркинг моделей

$$

113.png

1 https://github.com/JohnnyPeng18/Coffe
Кодування з підтримкою ШІ для розробників

Керування версіями промптів

115.png

Кодування з підтримкою ШІ для розробників

Керування версіями промптів

118.png

Кодування з підтримкою ШІ для розробників

Керування версіями промптів

119.png

Кодування з підтримкою ШІ для розробників

Кешування промптів

  • Кешування працює так, що зберігає:
    • Промпт
    • Вхідні дані
    • Модель
    • Temperature

prompt_caching.png

Кодування з підтримкою ШІ для розробників

Давайте потренуємось!

Кодування з підтримкою ШІ для розробників

Preparing Video For Download...