Feature store dalam arsitektur MLOps otomatis

MLOps Otomatis Penuh

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Fitur dalam machine learning

$$

Feature Engineering

Memilih, memanipulasi, dan mentransformasi sumber data mentah untuk membuat fitur sebagai input algoritme ML

Gambar pekerja bersetelan di samping lembar kertas dan roda gigi yang melambangkan proses data.

$$

Contoh:

  • Transformasi numerik
  • Pengodean kategori
  • Pengelompokan nilai
  • Membangun fitur baru
MLOps Otomatis Penuh

Feature engineering di enterprise

$$

Gambar arsitektur yang menunjukkan sumber data, batch dan streaming, yang dikonsumsi oleh tim data scientist yang mentransformasi data dalam proses feature engineering khas.

MLOps Otomatis Penuh

Feature engineering di enterprise

$$

Gambar arsitektur yang sama seperti sebelumnya, tetapi dengan tim tambahan yang juga mengonsumsi sumber data dan bekerja sendiri-sendiri dengan feature engineering.

MLOps Otomatis Penuh

Feature engineering di enterprise

$$

Lanjutan gambar sebelumnya, kini tim ketiga juga mengonsumsi sumber data yang sama dan mengerjakan feature engineering di silo masing-masing.

MLOps Otomatis Penuh

Feature store

$$

  • Repositori fitur terpusat

  • Hindari duplikasi kerja dengan otomatisasi

  • Standarisasi transformasi

  • Penyimpanan terpusat

  • Penyajian fitur untuk batch dan real-time

$$

Gambar arsitektur di mana sumber data dikonsumsi ke dalam feature store. Di dalamnya, data ditransformasikan, fitur dibuat disimpan, dan akhirnya feature store juga menyajikan fitur tersebut.

MLOps Otomatis Penuh

Feature store - Eksperimen lebih cepat

$$

  • Eksperimen lebih cepat
    • Ekstrak data untuk eksperimen
    • Penemuan fitur
    • Menghindari banyak definisi untuk fitur yang sama

$$

Gambar arsitektur. Feature store membentang horizontal dan menyuplai fitur ke eksperimen terorkestrasi di lingkungan Eksperimen dan Pengembangan.

MLOps Otomatis Penuh

Feature store - Continuous training

$$

  • Continuous Training (CT)
    • Ekstrak data untuk pipeline otomatis di produksi

$$

Gambar arsitektur. Feature store membentang horizontal. Ia menyuplai data ke komponen continuous training di lingkungan staging/produksi.

MLOps Otomatis Penuh

Feature store - Prediksi online

$$

  • Prediksi online
    • Gunakan fitur pradefinisi untuk layanan prediksi

$$

Gambar arsitektur. Feature store membentang horizontal. Ia menyuplai fitur ke layanan prediksi dalam sistem.

MLOps Otomatis Penuh

Feature store - Kesimetrian lingkungan

$$

  • Menghindari training-serving skew

$$

Gambar arsitektur. Feature store membentang horizontal. Ia menyuplai fitur ke pipeline terorkestrasi, continuous training, dan layanan prediksi lintas lingkungan.

MLOps Otomatis Penuh

Ayo berlatih!

MLOps Otomatis Penuh

Preparing Video For Download...