AIエージェント拡張のよくある失敗

拡張性のあるエージェントシステム構築

Korey Stegared-Pace

Senior AI Cloud Advocate, Microsoft

順調なスタート

confident_start1.jpg

拡張性のあるエージェントシステム構築

順調なスタート

confident_start2.jpg

拡張性のあるエージェントシステム構築

順調なスタート

confident_start3.jpg

拡張性のあるエージェントシステム構築

順調なスタート

confident_start4.jpg

拡張性のあるエージェントシステム構築

順調なスタート

confident_start5.jpg

拡張性のあるエージェントシステム構築

順調なスタート

confident_start6.jpg

拡張性のあるエージェントシステム構築

大規模化の課題

trouble_at_scale.jpg

拡張性のあるエージェントシステム構築

よくある失敗 その1:もろい評価ロジック

fragile_evaluation1.jpg

1 nip over = イギリスのスラングで「ちょっと立ち寄る」という意味
拡張性のあるエージェントシステム構築

よくある失敗 その1:もろい評価ロジック

1 nip over = イギリスのスラングで「ちょっと立ち寄る」という意味
拡張性のあるエージェントシステム構築

よくある失敗 その1:もろい評価ロジック

fragile_evaluation3.jpg

1 nip over = イギリスのスラングで「ちょっと立ち寄る」という意味
拡張性のあるエージェントシステム構築

よくある失敗 その2:対応範囲

intent_drift1.jpg

拡張性のあるエージェントシステム構築

よくある失敗 その2:対応範囲

intent_drift2.jpg

拡張性のあるエージェントシステム構築

よくある失敗 その3:誤ったフィードバックループ

ratings.png

高評価 → ジョーク、皮肉など

結果 → 正確さの優先順位が下がる

feedback_loop.png

パフォーマンスのあらゆる側面に対して明確な指標を決める

  • 正確さ
  • わかりやすさ
  • トーン
拡張性のあるエージェントシステム構築

よくある失敗 その4:レイテンシの原因

latency_bottlenecks1.jpg

拡張性のあるエージェントシステム構築

よくある失敗 その4:レイテンシの原因

latency_bottlenecks2.jpg

拡張性のあるエージェントシステム構築

よくある失敗 その4:レイテンシの原因

latency_bottlenecks3.jpg

拡張性のあるエージェントシステム構築

よくある失敗 その4:レイテンシの原因

latency_bottlenecks4.jpg

拡張性のあるエージェントシステム構築

よくある失敗 その4:レイテンシの原因

latency_bottlenecks5.jpg

拡張性のあるエージェントシステム構築

よくある失敗 その4:レイテンシの原因

latency_bottlenecks6.jpg

拡張性のあるエージェントシステム構築

よくある失敗 その5:コストの増加

latency_bottlenecks6.jpg

拡張性のあるエージェントシステム構築

よくある失敗 その5:コストの増加

usage_limits.jpg

拡張性のあるエージェントシステム構築

練習しましょう!

拡張性のあるエージェントシステム構築

Preparing Video For Download...