Data Engineering und Big Data

Grundlagen von Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Über den Kurs

• Konzeptueller Kurs
• Keine Programmierkenntnisse nötig
• Zielsetzungen
  • Sich mit Data Engineers austauschen können
  • Eine solide Grundlage schaffen

Kapitel 1

Was ist Data Engineering?

1. Data Engineering and Big Data
2. Data Engineers vs. Data Scientists
3. Daten-Pipelines

Kapitel 2

Wie funktioniert Datenspeicherung?

1. Strukturierte vs. unstrukturierte Daten
2. SQL
3. Data Warehouse und Data Lakes

Kapitel 3

Wie bewegt und verarbeitet man Daten?

1. Verarbeiten von Daten
2. Planen von Daten
3. Parallelverarbeitung
4. Cloud-Computing

$$

$$

$$

Daten-Workflow

Daten-Workflow

Daten-Workflow

Daten-Workflow

Data Engineers

Data Engineers

Data Engineers liefern:

• die richtigen Daten,
• in der richtigen Form,
• an die richtigen Personen,
• so effizient wie möglich.

Die Aufgaben von Data Engineers

• Daten aus verschiedenen Quellen erfassen
• Datenbanken für die Analyse optimieren
• Beschädigte Daten entfernen
• Datenarchitekturen entwickeln, konstruieren, testen und pflegen

Data Engineers und Big Data

• Big Data wird die Norm =>

Data Engineers und Big Data

• Big Data wird die Norm => Data Engineers werden immer häufiger gebraucht
• Big Data:
  • Überlegen, wie wir mit Größe umgehen
  • So groß, dass traditionelle Methoden nicht mehr funktionieren

Wachstum von Big Data

• Sensoren und Geräte
• Soziale Medien
• Unternehmensdaten
• VoIP (Sprachkommunikation, Multimedia-Sitzungen)

¹ Datenzeitalter 2025, Seagate, November 2018

Die fünf Vs

• Volume (wie viel?)
• Variety (welche Art?)
• Velocity (wie schnell?)
• Veracity (wie vertrauenswürdig?)
• Value (wie nützlich?)

Zusammenfassung

• Was dich erwartet
• Wie Daten durch ein Unternehmen fließen
• Wann Data Engineers eingreifen
• Was ihre Aufgaben sind
• Wie Data Engineering mit Big Data zusammenhängt

Lass uns üben!

Grundlagen von Data Engineering