Завантаження даних

Розуміння сучасної архітектури даних

Miller Trujillo

Senior Software Engineer

Що таке ingestion даних?

• Функціональні вимоги
• На функціонал може впливати аналітика

Пакетне завантаження

• Розклад для періодичного завантаження
• Копія на нашій платформі для аналітики
• Читати все чи лише нові дані
• Великі набори даних читаємо частково
• Менші набори можна перезаписувати

Пакетне: забираємо лише зміни

• Нескінченні ресурси неможливі
• Завантажуйте лише змінене
• updated_at timestamp або позначка
• Актуальний стан даних
• Видалення потребує позначки або консолідації

Потокове завантаження

• Push-модель
• Черги подій
• Обчислення 24/7
• Посадкова зона

Давайте потренуємось!

Розуміння сучасної архітектури даних