Selamat

Pengantar Data Engineering

Vincent Vankrunkelsven

Data Engineer, DataCamp

Pengantar data engineering

 

• Mengidentifikasi tugas data engineer
• Alat yang mereka gunakan
• Penyedia layanan cloud

Perkakas data engineering

 

• Database
• Komputasi paralel & kerangka kerja (Spark)
• Penjadwalan alur kerja dengan Airflow

Extract, Transform, dan Load (ETL)

 

• Extract: mengambil data dari beberapa sumber
• Transform: melakukan transformasi dengan komputasi paralel
• Load: memuat data ke database target

Studi kasus: DataCamp

 

• Mengambil data dari banyak sumber
• Transformasi untuk membentuk rekomendasi
• Memuat ke database target

Kerja bagus!

Pengantar Data Engineering