Bewertung moderner Datenarchitekturen

Moderne Datenarchitekturen verstehen

Miller Trujillo

Senior Software Engineer

Ingestion

Vorgeschlagene Lösung mit hervorgehobener Ingestion

  • Unvorhersehbare Muster
  • Was, wenn wir die Daten pullen?
    • Dateien exponieren
    • Network File System
Moderne Datenarchitekturen verstehen

Storage

Vorgeschlagene Lösung mit hervorgehobenem Storage

  • Cloud Storage ist:

    • günstiger als Data Warehouse oder Datenbanken
    • flexibel und stellt die nötigen APIs bereit

  • BigQuery noch eine Option?

    • günstig genug
    • nicht machbar wegen Ladebeschränkungen

  • Lifecycle-Richtlinien senken die Kosten weiter

Moderne Datenarchitekturen verstehen

Processing

Vorgeschlagene Lösung mit hervorgehobener Streaming-Verarbeitung

  • Dataflow, Dataproc (Spark) oder auch Data Fusion
  • Unvorhersehbare Ankunftsmuster
  • Daten direkt bei Ankunft verarbeiten
  • Einfachheit
  • Temporäre Daten
  • Bereinigung mit Lifecycle-Richtlinien automatisieren
  • Kein Schema-Maintenance nötig
Moderne Datenarchitekturen verstehen

Processing: Model-Scoring

Vorgeschlagene Lösung mit hervorgehobener Batch-Verarbeitung

  • Komplex, alles nachzuverfolgen
  • Einfacher zu warten
  • Voriger Job schreibt in NoSQL-DB, dieser Job ergänzt Daten
Moderne Datenarchitekturen verstehen

Daten bereitstellen

Vorgeschlagene Lösung mit hervorgehobener Batch-Verarbeitung

  • BigQuery für Analysen
  • NoSQL-DB => leichtere Skalierung & Flexibilität
Moderne Datenarchitekturen verstehen

Weitere Details

  • Governance, Orchestrierung, Security u. a.
  • Plattform und Anforderungen weiter schärfen
  • Besseres Management ermöglichen
  • Kein One-Size-Fits-All!

Alles sind Trade-offs

Moderne Datenarchitekturen verstehen

Lass uns üben!

Moderne Datenarchitekturen verstehen

Preparing Video For Download...