Procesarea datelor

Înțelegerea arhitecturii moderne a datelor

Miller Trujillo

Senior Software Engineer

Ce este procesarea datelor?

• Explorare
• Calitatea datelor: verificări și transformări
• Analiză
• Agregări
• Transformări

Procesare batch

• Batch și streaming
• Volum fix de date

Procesare streaming

Fereastră de timp fixă

Fereastră de timp glisantă

¹ https://beam.apache.org/documentation/programming-guide/#windowing

Concepte de procesare streaming

• Când au fost generate datele
• Când au sosit datele
• Watermark-uri
• Date întârziate
• Declanșarea unei noi procesări

Tehnologii de procesare

Caz de utilizare	Soluție	Soluție cloud
Batch/streaming, big data, cluster	Apache Spark, Flink, Beam	AWS EMR, AWS Glue, Google Dataproc, Google Dataflow
Batch/streaming, big data, serverless (serverele sunt gestionate integral de furnizor)	Apache Spark, Beam	AWS Glue, Google Dataflow
Evenimente individuale, procesare simplă, disponibilitate 24/7 fără servere active	Limbaje de programare generale: Python, Javascript, C#, Java, Go	AWS Lambda, Google Cloud Functions

Să exersăm!

Înțelegerea arhitecturii moderne a datelor