Datenverarbeitung

Grundlagen von Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Datenpipeline

Daten in den Data Lake verschieben

Daten in den Data Lake verschieben

Prüfung auf beschädigte Daten

Allgemeine Definition

Datenverarbeitung: Umwandlung von Rohdaten in aussagekräftige Informationen

Wert der Datenverarbeitung

Konzeptuell

Unerwünschte Daten entfernen
Speicher-, Prozess- und Netzwerkkosten optimieren
Daten von einem Typ in einen anderen umwandeln

Bei Spotflix

Kein langfristiger Bedarf für die Prüfung von Merkmalsdaten
So große Dateien zu speichern und zu streamen ist teuer

Datenpipeline

Datenpipeline

Datenpipeline

Wert der Datenverarbeitung

Konzeptuell

Unerwünschte Daten entfernen
Speicherplatz sparen
Daten von einem Typ in einen anderen umwandeln
Daten organisieren
An ein Schema/eine Struktur anpassen
Produktivität steigern

Bei Spotflix

Kein verlustfreies Format erforderlich
So große Dateien zu speichern ist teuer
Konvertieren von Songs von .flac in .ogg
Daten aus dem Data Lake in Data Warehouses reorganisieren
Beispiel Personaltabelle
Data Scientists befähigen

So verarbeiten Data Engineers Daten

Aufgaben zur Manipulation, Bereinigung und Aufbereitung von Daten,
- die automatisiert werden können,
- die immer erledigt werden müssen.
Speichern von Daten in strukturierten Datenbank
Erstellen von Ansichten
Optimieren der Leistung der Datenbank

Ablehnen beschädigter Musikdateien
Umgang mit fehlenden Metadaten
Separate Tabellen für Artists und Alben ...
... aber kombinierte Ansicht bereitstellen
Indizierung

¹ Den Unterschied zwischen Batch und Stream erklären wir in der nächsten Lektion!

Apache Spark Logo

Zusammenfassung

Was ist Datenverarbeitung?
Wozu brauchen wir sie?
Worin besteht sie?
Wie verarbeiten wir bei Spotflix Daten ?

Lass uns üben!

Grundlagen von Data Engineering

Preparing Video For Download...