Évaluer les solutions d’architecture data modernes

Comprendre les architectures de données modernes

Miller Trujillo

Senior Software Engineer

Ingestion

Solution proposée avec l’ingestion mise en évidence

  • Schémas d’arrivée imprévisibles
  • Et si nous tirions les données ?
    • Exposer les fichiers
    • Système de fichiers réseau
Comprendre les architectures de données modernes

Stockage

Solution proposée avec le stockage mis en évidence

  • Le stockage cloud est :

    • moins cher qu’un data warehouse ou une base de données
    • Flexible, avec les API nécessaires

  • BigQuery reste une option ?

    • Assez économique
    • Non viable à cause des limites de chargement

  • Politiques de cycle de vie pour réduire encore les coûts

Comprendre les architectures de données modernes

Traitement

Solution proposée avec le traitement en streaming mis en évidence

  • Dataflow, Dataproc (Spark) ou Data Fusion
  • Arrivées imprévisibles
  • Traiter dès l’arrivée
  • Simplicité
  • Données temporelles
  • Nettoyage automatisé avec des politiques de cycle de vie
  • Pas de maintenance de schéma
Comprendre les architectures de données modernes

Traitement : scoring du modèle

Solution proposée avec le batch mis en évidence

  • Suivi global complexe
  • Maintenance plus simple
  • Le job précédent écrit dans la base NoSQL et celui-ci complète les données
Comprendre les architectures de données modernes

Diffusion des données

Solution proposée avec la phase de serving mise en évidence

  • BigQuery pour l’analytique
  • Base NoSQL => évolutivité et flexibilité accrues
Comprendre les architectures de données modernes

Autres points

  • Gouvernance, orchestration, sécurité, etc.
  • Affiner la plateforme et les besoins
  • Mieux piloter l’ensemble
  • Pas de solution unique !

Tout est affaire de compromis

Comprendre les architectures de données modernes

Passons à la pratique !

Comprendre les architectures de données modernes

Preparing Video For Download...