Veri zamanlama

Veri Mühendisliğini Anlamak

Hadrien Lacroix

Content Developer at DataCamp

Zamanlama

• Veri işlemdeki her göreve uygulanabilir
• Zamanlama sistemin yapıştırıcısıdır
• Parçaları tutar ve birlikte nasıl çalışacaklarını düzenler
• Görevleri belirli sırada çalıştırır, bağımlılıkları çözer

Elle, zaman ve sensörle zamanlama

• Elle

• Çalışan tablosunu elle güncelle

Elle, zaman ve sensörle zamanlama

• Elle
• Belirli bir saatte otomatik çalıştırma
• Belirli bir koşul sağlanınca otomatik çalıştırma
  • Sensörle zamanlama

• Çalışan tablosunu elle güncelle
• Çalışan tablosunu saat 6:00'da güncelle

Elle, zaman ve sensörle zamanlama

• Elle
• Belirli bir saatte otomatik çalıştırma
• Belirli bir koşul sağlanınca otomatik çalıştırma
  • Sensörle zamanlama

• Çalışan tablosunu elle güncelle
• Çalışan tablosunu saat 6:00'da güncelle
• Yeni çalışan eklendiğinde bölüm tablolarını güncelle

Yığınlar ve akışlar

• Yığınlar
  • Kayıtları aralıklarla gruplar
  • Genelde daha ucuzdur
• Akışlar
  • Tekil kayıtları anında gönderir

• Sanatçıların yüklediği şarkılar
• Çalışan tablosu
• Gelir tablosu
• Kayıt olan yeni kullanıcılar
• Diğer örnek: çevrimiçi vs. çevrimdışı dinleme

Zamanlama araçları

Özet

• Zamanlama nedir
• Nasıl kurulur
• Yığın ile akış farkı
• Spotflix'te nasıl uygulanır
• Airflow, Luigi

Hadi pratik yapalım!

Veri Mühendisliğini Anlamak