Kualitas data dan ingestion

Konsep MLOps

Folkert Stijnman

ML Engineer

Kualitas data dan ingestion

Apa itu kualitas data?

• Kualitas data mengukur sejauh mana data memenuhi tujuannya
• Dinilai melalui berbagai dimensi
• Kualitas model ML bergantung pada data

Dimensi kualitas data

• Akurasi
• Kelengkapan
• Konsistensi
• Ketesapaktuan waktu

Contoh dimensi kualitas data

Dimensi	Pertanyaan contoh	Contoh kualitas dimensi
Akurasi	Apakah data kita mendeskripsikan pelanggan dengan benar?	Usia pelanggan di data tercatat 18, tetapi sebenarnya 32.
Kelengkapan	Apakah ada data pelanggan yang hilang?	Untuk 80% pelanggan, kita tidak memiliki nama belakang.
Konsistensi	Apakah definisi pelanggan selaras di seluruh perusahaan?	Pelanggan tercatat aktif di satu basis data namun tidak aktif di yang lain.
Ketepatan waktu	Kapan data pesanan pelanggan tersedia?	Pesanan pelanggan disinkronkan di akhir hari dan tidak tersedia real-time.

Kualitas data rendah bukan akhir proyek!

Ingestion data

Ayo berlatih!

Konsep MLOps