Selamat

Pengantar Data Engineering

Vincent Vankrunkelsven

Data Engineer @ DataCamp

Pengantar data engineering

 

• Mengidentifikasi tugas data engineer
• Alat yang mereka gunakan
• Penyedia layanan cloud

Perlengkapan data engineering

 

• Basis data
• Komputasi paralel & framework (Spark)
• Penjadwalan workflow dengan Airflow

Extract, Load, and Transform (ETL)

 

• Extract: mengambil data dari berbagai sumber
• Transform: melakukan transformasi dengan komputasi paralel
• Load: memuat data ke basis data tujuan

Studi kasus: DataCamp

 

• Mengambil data dari banyak sumber
• Transformasi untuk membentuk rekomendasi
• Memuat ke basis data tujuan

Kerja bagus!

Pengantar Data Engineering