Zpracování dat

Porozumění moderní datové architektuře

Miller Trujillo

Senior Software Engineer

Co je zpracování dat?

• Průzkum
• Kvalita dat: kontroly a transformace
• Analýza
• Agregace
• Transformace

Dávkové zpracování

• Dávkové a streamovací
• Pevné množství dat

Streamovací zpracování

Pevné časové okno

Posuvné časové okno

¹ https://beam.apache.org/documentation/programming-guide/#windowing

Koncepty streamovacího zpracování

• Kdy byla data vygenerována
• Kdy data dorazila
• Vodoznaky
• Pozdní data
• Spuštění nového zpracování

Technologie zpracování

Případ použití	Řešení	Cloudové řešení
Dávkové/streamovací, velká data, cluster	Apache Spark, Flink, Beam	AWS EMR, AWS Glue, Google Dataproc, Google Dataflow
Dávkové/streamovací, velká data, serverless (servery plně spravuje poskytovatel)	Apache Spark, Beam	AWS Glue, Google Dataflow
Jednotlivé události, jednoduché zpracování, nepřetržitá podpora bez běžících serverů	Obecné programovací jazyky: Python, Javascript, C#, Java, Go	AWS Lambda, Google Cloud Functions

Pojďme si procvičit!

Porozumění moderní datové architektuře