Обработка данных

Современные архитектуры данных

Miller Trujillo

Senior Software Engineer

Что такое обработка данных?

• Исследование
• Качество данных: проверки и преобразования
• Анализ
• Агрегации
• Трансформации

Пакетная обработка

• Пакетная и потоковая обработка
• Фиксированный объём данных

Потоковая обработка

Фиксированное временное окно

Скользящее временное окно

¹ https://beam.apache.org/documentation/programming-guide/#windowing

Концепции потоковой обработки

• Время генерации данных
• Время поступления данных
• Водяные знаки (watermarks)
• Запоздавшие данные
• Запуск новой обработки

Технологии обработки данных

Сценарий использования	Решение	Облачное решение
Пакетная/потоковая обработка, большие данные, кластер	Apache Spark, Flink, Beam	AWS EMR, AWS Glue, Google Dataproc, Google Dataflow
Пакетная/потоковая обработка, большие данные, serverless (серверы полностью управляются провайдером)	Apache Spark, Beam	AWS Glue, Google Dataflow
Отдельные события, простая обработка, поддержка 24/7 без постоянно работающих серверов	Языки программирования общего назначения: Python, Javascript, C#, Java, Go	AWS Lambda, Google Cloud Functions

Давайте потренируемся!

Современные архитектуры данных