Data-inname

Moderne data-architectuur begrijpen

Miller Trujillo

Senior Software Engineer

Wat is data-inname?

• Functionele vereisten
• Functioneel kan beïnvloed worden door analytics

Batch-inname

• Gepland: periodiek data binnenhalen
• Kopiëren naar ons platform voor analytics
• Alles lezen vs. alleen nieuw voor ons
• Grote datasets vragen deels lezen
• Kleine datasets kun je overschrijven

Batch-inname: alleen wijzigingen binnenhalen

• Oneindige resources bestaan niet
• Neem alleen mee wat is gewijzigd
• Bijgewerkt-op-timestamp of vlag
• Laatste staat van data
• Verwijderen vereist vlag of consolidatie

Streaming-inname

• Pushmodel
• Eventqueues
• 24/7 compute
• Landingszone

Laten we oefenen!

Moderne data-architectuur begrijpen