Загрузка данных

Современные архитектуры данных

Miller Trujillo

Senior Software Engineer

Что такое загрузка данных?

• Функциональные требования
• Аналитика может влиять на функциональные требования

Пакетная загрузка

• Периодическая загрузка по расписанию
• Копирование в платформу для аналитики
• Полная загрузка или только новые данные
• Большие наборы данных требуют частичной загрузки
• Малые наборы данных можно перезаписывать

Пакетная загрузка: только изменения

• Бесконечные ресурсы невозможны
• Загружать только изменения
• Метка времени обновления или флаг
• Актуальное состояние данных
• Для удалений нужен флаг или консолидация

Потоковая загрузка

• Модель push
• Очереди событий
• Вычисления 24/7
• Промежуточная зона

Давайте потренируемся!

Современные архитектуры данных