Menjadwalkan data

Memahami Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Penjadwalan

• Dapat diterapkan pada tugas apa pun dalam pemrosesan data
• Penjadwalan adalah perekat sistem Anda
• Menyatukan komponen dan mengatur cara kerjanya
• Menjalankan tugas berurutan dan menyelesaikan dependensi

Penjadwalan manual, berbasis waktu, dan sensor

• Manual

• Perbarui tabel karyawan secara manual

Penjadwalan manual, berbasis waktu, dan sensor

• Manual
• Otomatis pada waktu tertentu
• Otomatis saat kondisi tertentu terpenuhi
  • Penjadwalan sensor

• Perbarui tabel karyawan secara manual
• Perbarui tabel karyawan pukul 6 pagi

Penjadwalan manual, berbasis waktu, dan sensor

• Manual
• Otomatis pada waktu tertentu
• Otomatis saat kondisi tertentu terpenuhi
  • Penjadwalan sensor

• Perbarui tabel karyawan secara manual
• Perbarui tabel karyawan pukul 6 pagi
• Perbarui tabel departemen saat ada karyawan baru

Batch dan stream

• Batch
  • Mengelompokkan catatan per interval
  • Sering lebih murah
• Stream
  • Mengirim catatan satu per satu segera

• Lagu yang diunggah artis
• Tabel karyawan
• Tabel pendapatan
• Pengguna baru masuk
• Contoh lain: mendengarkan online vs. offline

Alat penjadwalan

Ringkasan

• Apa itu penjadwalan
• Cara menyiapkannya
• Perbedaan batch vs. stream
• Implementasi penjadwalan di Spotflix
• Airflow, Luigi

Ayo berlatih!

Memahami Data Engineering