Масштабирование ИИ-агентов: успехи и сбои

Создание масштабируемых агентных систем

Korey Stegared-Pace

Senior AI Cloud Advocate, Microsoft

Уверенный старт

confident_start1.jpg

Создание масштабируемых агентных систем

Уверенный старт

confident_start2.jpg

Создание масштабируемых агентных систем

Уверенный старт

confident_start3.jpg

Создание масштабируемых агентных систем

Уверенный старт

confident_start4.jpg

Создание масштабируемых агентных систем

Уверенный старт

confident_start5.jpg

Создание масштабируемых агентных систем

Уверенный старт

confident_start6.jpg

Создание масштабируемых агентных систем

Проблемы при масштабировании

trouble_at_scale.jpg

Создание масштабируемых агентных систем

Сбой №1 – Ненадёжная оценка

fragile_evaluation1.jpg

1 nip over = британский сленг, означающий «быстро забежать»
Создание масштабируемых агентных систем

Сбой №1 – Ненадёжная оценка

1 nip over = британский сленг, означающий «быстро забежать»
Создание масштабируемых агентных систем

Сбой №1 – Ненадёжная оценка

fragile_evaluation3.jpg

1 nip over = британский сленг, означающий «быстро забежать»
Создание масштабируемых агентных систем

Сбой №2 – Смещение намерения

intent_drift1.jpg

Создание масштабируемых агентных систем

Сбой №2 – Смещение намерения

intent_drift2.jpg

Создание масштабируемых агентных систем

Сбой №3 – Нежелательные петли обратной связи

ratings.png

Голосование → шутки, сарказм и т. п.

Результат → достоверность отходит на второй план

feedback_loop.png

Определите чёткие метрики для всех аспектов качества

  • Достоверность
  • Ясность
  • Тон
Создание масштабируемых агентных систем

Сбой №4 – Узкие места по задержке

latency_bottlenecks1.jpg

Создание масштабируемых агентных систем

Сбой №4 – Узкие места по задержке

latency_bottlenecks2.jpg

Создание масштабируемых агентных систем

Сбой №4 – Узкие места по задержке

latency_bottlenecks3.jpg

Создание масштабируемых агентных систем

Сбой №4 – Узкие места по задержке

latency_bottlenecks4.jpg

Создание масштабируемых агентных систем

Сбой №4 – Узкие места по задержке

latency_bottlenecks5.jpg

Создание масштабируемых агентных систем

Сбой №4 – Узкие места по задержке

latency_bottlenecks6.jpg

Создание масштабируемых агентных систем

Сбой №5 – Взрывной рост затрат

latency_bottlenecks6.jpg

Создание масштабируемых агентных систем

Сбой №5 – Взрывной рост затрат

usage_limits.jpg

Создание масштабируемых агентных систем

Давайте потренируемся!

Создание масштабируемых агентных систем

Preparing Video For Download...