Prinsip Desain untuk Agen yang Skalabel

Membangun Sistem Agenik yang Dapat Diskalakan

Korey Stegared-Pace

Senior AI Cloud Advocate, Microsoft

Skalabel atau tidak?

Skalabel atau tidak?

Skalabel atau tidak?

Skalabel atau tidak?

Pilar sistem agen yang skalabel

Infrastruktur dan tooling yang andal

• Komputasi: Sumber daya untuk menjalankan kode

 

• Penyimpanan: Menyimpan state, log, dan riwayat

Infrastruktur dan tooling yang andal

Pipeline Deployment Andal

Tooling Agen yang Matang

Modularitas

Mendesain sistem sebagai komponen independen terpisah yang membentuk keseluruhan

• Memungkinkan desain, pengembangan, dan pemeliharaan mandiri

Modularitas

Mendesain sistem sebagai komponen independen terpisah yang membentuk keseluruhan

• Memungkinkan desain, pengembangan, dan pemeliharaan mandiri

Modularitas

Mendesain sistem sebagai komponen independen terpisah yang membentuk keseluruhan

• Memungkinkan desain, pengembangan, dan pemeliharaan mandiri

Modularitas pada agen: Modularitas perangkat lunak

Modularitas pada agen: Multi-agen

Modularitas pada agen: Multi-agen

Contoh: Multi-agen dukungan pelanggan

Sekilas Bab 2

¹ https://langchain-ai.github.io/langgraph/concepts/multi_agent/#multi-agent-architectures

Evaluasi berkelanjutan dan umpan balik

 

• Monitoring menyeluruh

 

Evaluasi berkelanjutan dan umpan balik

 

• Monitoring menyeluruh
• Metrik umum:
  • Tingkat keberhasilan
  • Latensi
  • Error

 

Evaluasi berkelanjutan dan umpan balik

 

• Monitoring menyeluruh
• Metrik umum:
  • Tingkat keberhasilan
  • Latensi
  • Error
• Kumpulkan umpan balik pengguna

 

Ayo berlatih!

Membangun Sistem Agenik yang Dapat Diskalakan