Pipa data

Memahami Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Jika data adalah minyak baru...

¹ The Economist, 2017-05-06, oleh David Parkins

Kembali ke rekayasa data

• Ingest
• Proses
• Simpan
• Butuh pipa
• Otomatiskan alur dari satu stasiun ke berikutnya
• Sediakan data mutakhir, akurat, relevan

$$

Pipa data memastikan aliran data yang efisien

Otomatiskan

• Ekstraksi
• Transformasi
• Penggabungan
• Validasi
• Pemuatan

Kurangi

• Intervensi manusia
• Kesalahan
• Waktu aliran data

ETL dan pipa data

ETL

• Kerangka populer untuk merancang pipa data
• 1) Extract data
• 2) Transform data yang diekstrak
• 3) Load data yang ditransformasikan ke basis data lain

Pipa data

• Memindahkan data antar sistem
• Dapat mengikuti ETL
• Data bisa tidak ditransformasikan
• Data bisa langsung dimuat ke aplikasi

Ringkasan

• Apa itu pipa data
• Apa fungsinya
• Mengapa penting
• Cara penerapan di Spotflix
• Apa itu ETL dan nuansanya

Ayo berlatih!

Memahami Data Engineering