Опрацювання даних

Розуміння сучасної архітектури даних

Miller Trujillo

Senior Software Engineer

Що таке опрацювання даних?

• Дослідження
• Якість даних: перевірки та перетворення
• Аналіз
• Агрегації
• Перетворення

Пакетне опрацювання

• Пакетне та потокове
• Фіксований обсяг даних

Потокове опрацювання

Фіксоване часове вікно

Рухоме часове вікно

¹ https://beam.apache.org/documentation/programming-guide/#windowing

Поняття потокового опрацювання

• Коли дані згенеровано
• Коли дані надійшли
• Водяні мітки
• Запізнілі дані
• Запуск нового опрацювання

Технології опрацювання

Випадок використання	Рішення	Хмарне рішення
Пакет/потік, великі дані, кластер	Apache Spark, Flink, Beam	AWS EMR, AWS Glue, Google Dataproc, Google Dataflow
Пакет/потік, великі дані, безсерверно (сервери повністю керує провайдер)	Apache Spark, Beam	AWS Glue, Google Dataflow
Окремі події, проста обробка, 24/7 без запущених серверів	Загальні мови програмування: Python, Javascript, C#, Java, Go	AWS Lambda, Google Cloud Functions

Давайте потренуємось!

Розуміння сучасної архітектури даних