Fase ideasi

Konsep LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Siklus hidup LLM: fase ideasi

Gambaran fase siklus hidup aplikasi LLM

Konsep LLMOps

Sumber data

 

Gambar kartun yang memegang berbagai sumber data

 

  • Mengidentifikasi kebutuhan

 

  • Menemukan sumber

 

  • Menjamin aksesibilitas
Konsep LLMOps

Sumber data

 

Gambar kartun yang memegang berbagai sumber data

  1. Apakah datanya relevan?
  2. Apakah datanya tersedia?
    • Transformasi data
    • Menyiapkan basis data tambahan
    • Evaluasi biaya
    • Pertimbangkan batasan akses lain
  3. Apakah datanya memenuhi standar?
    • Terkait kualitas dan tata kelola
Konsep LLMOps

Memilih model dasar

  • Model pratervalidasi:

Gambar model pra-latih

  • Proprietari atau sumber terbuka?
Konsep LLMOps

Model proprietari (milik privat)

Keunggulan:

  • Mudah diatur dan dipakai
  • Penjaminan mutu
  • Andal, cepat, dan tersedia

 

Keterbatasan:

  • Perlu mengekspos data
  • Kustomisasi

Contoh:

Logo model LLM proprietari

Konsep LLMOps

Sumber terbuka (dapat diakses publik)

Keunggulan:

  • Hosting internal
  • Transparansi
  • Sepenuhnya dapat dikustomisasi

 

Keterbatasan:

  • Dukungan
  • Penggunaan komersial

 

Contoh: Logo Meta Llama 3

 

Dapat diunduh dari: Logo Hugging Face

Konsep LLMOps

Faktor pemilihan model

1. Kinerja ⭐

  • Kualitas respons
  • Kecepatan

Ikon terkait kinerja

2. Karakteristik model ⭐

  • Data pelatihan yang digunakan
  • Ukuran jendela konteks
  • Kemampuan fine-tuning

Ikon terkait karakteristik model

Konsep LLMOps

Faktor pemilihan model

3. Pertimbangan praktis ⭐

  • Lisensi
  • Biaya
  • Dampak lingkungan

Ikon terkait pertimbangan praktis

4. Faktor sekunder

  • Jumlah parameter
  • Popularitas

Ikon terkait faktor sekunder

Konsep LLMOps

Ayo berlatih!

Konsep LLMOps

Preparing Video For Download...