Ingestion de données

Comprendre les architectures de données modernes

Miller Trujillo

Senior Software Engineer

Qu’est-ce que l’ingestion de données ?

Exigences fonctionnelles
L’analytique peut impacter le fonctionnel

Architecture Big Data générique incluant sources de données, ingestion, stockage, traitement, orchestration, gouvernance, service, et stockage analytique et reporting

Ingestion par lots

Planifiée pour ingérer périodiquement
Copie sur notre plateforme pour l’analytique
Lire tout vs seulement les nouveautés
Gros jeux de données: lecture partielle
Petits jeux de données: écrasement possible

Batch: n’apporter que les changements

Ressources infinies: impossible
Ingestion des seules données modifiées
Champ timestamp de mise à jour ou indicateur
Dernier état des données
Les suppressions nécessitent un indicateur ou une consolidation

Ingestion en streaming

Modèle push
Files d’événements
Calcul 24/7
Zone d’atterrissage

Workflow d’ingestion en streaming

Passons à la pratique !

Comprendre les architectures de données modernes