Évaluer les solutions d'architecture de données modernes

Comprendre l'architecture de données moderne

Miller Trujillo

Senior Software Engineer

Ingestion

Solution proposée avec l'ingestion en surbrillance

  • Schémas d'arrivée imprévisibles
  • Et si nous tirions les données ?
    • Exposer les fichiers
    • Système de fichiers en réseau
Comprendre l'architecture de données moderne

Stockage

Solution proposée avec le stockage en surbrillance

  • Le stockage infonuagique est :

    • moins coûteux qu'un entrepôt de données ou une base de données
    • flexible et expose les API requises

  • BigQuery reste-t-il une option ?

    • Assez économique
    • Non viable à cause des limites au chargement

  • Politiques de cycle de vie pour réduire encore les coûts

Comprendre l'architecture de données moderne

Traitement

Solution proposée avec le traitement en continu en surbrillance

  • Dataflow, Dataproc (Spark) ou même Data Fusion
  • Arrivées imprévisibles
  • Traiter dès l'arrivée
  • Simplicité
  • Données temporelles
  • Automatiser le nettoyage avec des politiques de cycle de vie
  • Aucun entretien de schéma requis
Comprendre l'architecture de données moderne

Traitement : scores du modèle

Solution proposée avec le traitement par lots en surbrillance

  • Complexe de tout suivre
  • Plus facile à maintenir
  • La tâche précédente peut écrire dans une BD NoSQL et celle-ci complète les données
Comprendre l'architecture de données moderne

Diffusion des données

Solution proposée avec le traitement par lots en surbrillance

  • BigQuery pour l'analytique
  • BD NoSQL => évolutivité et souplesse accrues
Comprendre l'architecture de données moderne

Autres détails

  • Gouvernance, orchestration, sécurité, etc.
  • Affiner davantage la plateforme et les exigences
  • Mieux gérer
  • Pas de solution universelle !

Tout est question de compromis

Comprendre l'architecture de données moderne

Passons à la pratique !

Comprendre l'architecture de données moderne

Preparing Video For Download...