Ingestion de données

Comprendre l'architecture de données moderne

Miller Trujillo

Senior Software Engineer

Qu'est-ce que l'ingestion de données ?

• Exigences fonctionnelles
• Le fonctionnel peut être influencé par l'analytique

Ingestion par lots

• Planifiée pour ingérer périodiquement
• Copier dans notre plateforme pour l'analytique
• Lire toutes les données vs seulement les nouveautés
• Les gros ensembles exigent une lecture partielle
• Les petits ensembles peuvent être écrasés

Ingestion par lots : n'apportez que les changements

• Les ressources infinies n'existent pas
• Ingérer seulement ce qui a changé
• Mis à jour à un timestamp ou via un indicateur
• Dernier état des données
• La suppression exige un indicateur ou une consolidation

Ingestion en continu

• Modèle push
• Files d'événements
• Calcul 24/7
• Zone d'atterrissage

Passons à la pratique !

Comprendre l'architecture de données moderne