Skalabilitas

Mengembangkan Model Machine Learning untuk Produksi

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

Keterbatasan komputasi dalam skalabilitas

  • Kebutuhan CPU, memori, dan disk memengaruhi skalabilitas model ML
  • Ukur penggunaan CPU, memori, dan disk saat training dan inferensi
  • Identifikasi dini meningkatkan skalabilitas model

ruang server

Mengembangkan Model Machine Learning untuk Produksi

Kompleksitas model dan skalabilitas

  • Kompleksitas model memengaruhi skalabilitas
  • Menyeimbangkan kompleksitas dan skalabilitas itu menantang
  • Strategi penyeimbangan:
    • Teknik seleksi fitur (mis. Chi-squared, PCA)
    • Teknik kompresi model (mis. pruning)

PCA

Principal Component Analysis (PCA)

Mengembangkan Model Machine Learning untuk Produksi

Kecepatan deployment dan skalabilitas

  • Deployment dan iterasi cepat penting untuk relevansi dan akurasi
  • Strategi
    • continuous integration/deployment - dibahas di pelajaran berikutnya
    • online learning - belajar dari data baru secara real time

pelari

Mengembangkan Model Machine Learning untuk Produksi

Strategi penskalaan optimal

  • Trade-off meliputi biaya serving, retraining, dan kecepatan deployment
  • Strategi penskalaan: horizontal, vertikal, auto-scaling
    • Horizontal: menambah mesin
    • Vertikal: menaikkan ukuran mesin
    • Auto-scaling: menyesuaikan jumlah mesin sesuai beban kerja

penskalaan

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
Mengembangkan Model Machine Learning untuk Produksi

Menentukan strategi penskalaan yang optimal

  • Penskalaan horizontal memakai load balancing, partisi

  • Kompromi penskalaan horizontal: kompleksitas, biaya ($)

  • Penskalaan vertikal menaikkan ukuran mesin

  • Kompromi penskalaan vertikal: biaya ($)

Idealnya—auto-scale secara horizontal dan vertikal.

penskalaan

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
Mengembangkan Model Machine Learning untuk Produksi

Ayo berlatih!

Mengembangkan Model Machine Learning untuk Produksi

Preparing Video For Download...