Veri İşleme

Modern Veri Mimarilerini Anlama

Miller Trujillo

Senior Software Engineer

Veri işleme nedir?

• Keşif
• Veri kalitesi: Kontroller ve dönüşümler
• Analiz
• Toplamalar
• Dönüşümler

Batch işleme

• Batch ve streaming
• Sabit veri miktarı

Streaming işleme

Sabit zaman penceresi

Kayan zaman penceresi

¹ https://beam.apache.org/documentation/programming-guide/#windowing

Streaming işleme kavramları

• Verinin üretildiği zaman
• Verinin ulaştığı zaman
• Su işaretleri (watermarks)
• Geciken veriler
• Yeni işlemleri tetikleme

İşleme teknolojileri

Kullanım durumu	Çözüm	Bulut çözümü
Batch/streaming, büyük veri, küme	Apache Spark, Flink, Beam	AWS EMR, AWS Glue, Google Dataproc, Google Dataflow
Batch/streaming, büyük veri, sunucusuz (sunucular sağlayıcı tarafından tamamen yönetilir)	Apache Spark, Beam	AWS Glue, Google Dataflow
Tekil olaylar, basit işleme, sunucu çalıştırmadan 7/24 destek	Genel programlama dilleri: Python, Javascript, C#, Java, Go	AWS Lambda, Google Cloud Functions

Hadi pratik yapalım!

Modern Veri Mimarilerini Anlama