Parallelverarbeitung

Grundlagen von Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Grundlage moderner Datenverarbeitungstools
Erforderlich:
- Wegen des Speichers
- Für Rechenleistung
Funktionsweise:
- Aufteilen von Aufgaben in mehrere Unteraufgaben
- Verteilen der Unteraufgaben auf mehrere Computer

1000 T-Shirts

Senior-Verkaufspersonal

Junior-Verkaufspersonal

¹ Emojis von Mohamed Hassan

eine Person nach der anderen

T-Shirt-Batching

Junior-Verkaufspersonal, das in einer Stunde und fünfzehn Minuten fertig ist

leitende Verkaufsassistentin, die in zwei Stunden und dreizehn Minuten fertig sind

Vorteile und Risiken der Parallelverarbeitung

Vergleich der Leistung von Junior- und Senior-Verkaufspersonal

es dauert zehn Minuten, die tausend T-Shirts an die vier Junior-Beschäftigen zu verteilen

es dauert fünf Minuten, um die T-Shirts der vier Junior-Beschäftigten auf einen Haufen zu sammeln

Datenpipeline

Grundlagen von Data Engineering