Gagal dengan Baik: Mengurangi Risiko

Membangun Sistem Agenik yang Dapat Diskalakan

Korey Stegared-Pace

Senior AI Cloud Advocate, Microsoft

Kegagalan pemanggilan tool

Solusi

 

  • Menetapkan parameter dan penggunaan yang jelas

 

  • Validasi output tool (unit test!)

 

  • Pemeriksaan verifikasi pada pemilihan tool

 

  • MCP!
Masalah

kegagalan_pemanggilan_tool.png

Membangun Sistem Agenik yang Dapat Diskalakan

Kegagalan pemanggilan tool - mekanisme retry

 

  • Layanan eksternal bisa gagal atau sementara lambat

 

  • Retry

    • Exponential backoff → jeda retry makin panjang
    • Beri tahu pengguna soal masalah via callback

Membangun Sistem Agenik yang Dapat Diskalakan

Kegagalan pemanggilan tool - caching

 

  • Output tool dicache sebagai fallback

 

  • Cocok untuk: data statis yang jarang berubah

 

  • Tidak cocok untuk: tool dengan informasi real-time

caching.png

Membangun Sistem Agenik yang Dapat Diskalakan

Kegagalan pemanggilan tool - manajemen antrean

 

  • Pemanggilan tool bisa saling bergantung

 

  • Contoh: penerbangan dipesan sebelum taksi

 

  • Pemanggilan tool yang gagal dapat dipindah ke antrean bawah

 

Manajemen antrean

Membangun Sistem Agenik yang Dapat Diskalakan

Otentikasi

Otentikasi TI

 

  • Tool mungkin memerlukan akses dan izin ke data privat

 

  • Contoh: agen dukungan TI
    • Akses valid: log sistem
    • Akses diblokir: kata sandi, lokasi, dll.
Membangun Sistem Agenik yang Dapat Diskalakan

Otentikasi - pengenal agen unik

ID agen unik

Membangun Sistem Agenik yang Dapat Diskalakan

Otentikasi - lingkungan terisolasi

Lingkungan terisolasi

Membangun Sistem Agenik yang Dapat Diskalakan

Otentikasi - guardrail dan pembatasan aksi

Pembatasan

Membangun Sistem Agenik yang Dapat Diskalakan

Ayo berlatih!

Membangun Sistem Agenik yang Dapat Diskalakan

Preparing Video For Download...