Оптимизация ИИ: скорость, стоимость и качество

Разработка с помощью ИИ: курс для разработчиков

Francesca Donadoni

AI Curriculum Manager, DataCamp

Метрики

124.png

  • Задержка (время отклика): как долго модель генерирует ответ
Разработка с помощью ИИ: курс для разработчиков

Метрики

135.png

  • Задержка (время отклика): как долго модель генерирует ответ

$$

  • Стоимость токенов (за 1 млн токенов): денежные затраты на использование модели ИИ
Разработка с помощью ИИ: курс для разработчиков

Метрики

126.png

  • Задержка (время отклика): как долго модель генерирует ответ

$$

  • Стоимость токенов (за 1 млн токенов): денежные затраты на использование модели ИИ

$$

  • Качество (доля успешных тестов): как часто сгенерированный код работает корректно
Разработка с помощью ИИ: курс для разработчиков

Бенчмаркинг моделей

$$

110.png

1 https://github.com/openai/human-eval
Разработка с помощью ИИ: курс для разработчиков

Бенчмаркинг моделей

$$

111.png

1 https://github.com/bigcode-project/bigcodebench
Разработка с помощью ИИ: курс для разработчиков

Бенчмаркинг моделей

$$

112.png

1 https://github.com/SWE-bench/SWE-bench
Разработка с помощью ИИ: курс для разработчиков

Бенчмаркинг моделей

$$

113.png

1 https://github.com/JohnnyPeng18/Coffe
Разработка с помощью ИИ: курс для разработчиков

Версионирование промптов

115.png

Разработка с помощью ИИ: курс для разработчиков

Версионирование промптов

118.png

Разработка с помощью ИИ: курс для разработчиков

Версионирование промптов

119.png

Разработка с помощью ИИ: курс для разработчиков

Кэширование промптов

  • Кэширование сохраняет:
    • Промпт
    • Входные данные
    • Модель
    • Температуру

prompt_caching.png

Разработка с помощью ИИ: курс для разработчиков

Давайте потренируемся!

Разработка с помощью ИИ: курс для разработчиков

Preparing Video For Download...