Dateningestion

Moderne Datenarchitekturen verstehen

Miller Trujillo

Senior Software Engineer

Was ist Dateningestion?

• Funktionale Anforderungen
• Funktionales kann durch Analytics beeinflusst werden

Batch-Ingestion

• Geplant: Daten periodisch laden
• Kopie in unserer Plattform für Analytics
• Alles lesen vs. nur Neues lesen
• Große Datasets erfordern Teil-Lesen
• Kleine Datasets können überschrieben werden

Batch-Ingestion: Nur Änderungen bringen

• Unendliche Ressourcen gibt es nicht
• Nur Änderungen laden
• Aktualisiert-zu-Timestamp oder Flag
• Neuester Datenstand
• Löschungen erfordern Flag oder Konsolidierung

Streaming-Ingestion

• Push-Modell
• Event-Queues
• 24/7 Compute
• Landing Zone

Lass uns üben!

Moderne Datenarchitekturen verstehen