Veri Alımı

Modern Veri Mimarilerini Anlama

Miller Trujillo

Senior Software Engineer

Veri alımı nedir?

  • İşlevsel gereksinimler
  • Analitik, işlevselliği etkileyebilir

Veri kaynakları, alım, depolama, işleme, orkestrasyon, yönetişim, sunum ve analitik depolama/raporlamayı içeren genel büyük veri mimarisi

Modern Veri Mimarilerini Anlama

Yığın (batch) alım

  • Belirli aralıklarla veri alma zamanlanır
  • Analitik için platformumuza kopyalanır
  • Tüm veriyi okumak vs. yalnızca yenileri okumak
  • Büyük veri kümeleri kısmi okuma gerektirir
  • Küçük veri kümeleri üzerine yazılabilir
Modern Veri Mimarilerini Anlama

Yığın alım: Sadece değişeni getir

  • Sınırsız kaynak mümkün değildir
  • Yalnızca değişeni alın
  • Güncelleme zamanı ya da bayrak
  • Verinin en güncel hâli
  • Silme için bayrak veya konsolidasyon gerekir
Modern Veri Mimarilerini Anlama

Akış (streaming) alımı

  • İtme (push) modeli
  • Olay kuyrukları
  • 7/24 işlem
  • İniş bölgesi

Akış alımı iş akışı

Modern Veri Mimarilerini Anlama

Hadi pratik yapalım!

Modern Veri Mimarilerini Anlama

Preparing Video For Download...