Data-inname

Inzicht in moderne data-architectuur

Miller Trujillo

Senior Software Engineer

Wat is data-inname?

• Functionele vereisten
• Functioneel kan beïnvloed worden door analytics

Batch-inname

• Gepland om periodiek data in te nemen
• Kopiëren naar ons platform voor analytics
• Alles lezen vs. alleen wat nieuw is
• Grote gegevenssets vereisen deels lezen
• Kleinere gegevenssets kun je overschrijven

Batch-inname: Neem alleen wijzigingen mee

• Oneindige resources bestaan niet
• Neem alleen mee wat is gewijzigd
• Bijgewerkt op timestamp of met een vlag
• Laatste toestand van de data
• Verwijderen vereist een vlag of consolidatie

Streaming-inname

• Pushmodel
• Eventqueues
• 24/7 rekenkracht
• Landing zone

Laten we oefenen!

Inzicht in moderne data-architectuur