Komputasi paralel

Memahami Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Komputasi paralel

  • Dasar alat pemrosesan data modern
  • Diperlukan:
    • Utamanya karena memori
    • Juga untuk daya komputasi
  • Cara kerja:
    • Pecah tugas menjadi beberapa subtugas kecil
    • Sebarkan subtugas ke beberapa komputer
Memahami Data Engineering

1000 kaus

Memahami Data Engineering

asisten penjualan senior

Memahami Data Engineering

asisten penjualan junior

1 Emoji oleh Mohamed Hassan
Memahami Data Engineering

satu asisten penjualan pada satu waktu

Memahami Data Engineering

membagi kaus oblong per batch

Memahami Data Engineering

asisten penjualan junior selesai dalam satu jam lima belas menit

Memahami Data Engineering

asisten penjualan senior selesai dalam dua jam tiga belas menit

Memahami Data Engineering

Manfaat dan risiko komputasi paralel

  • Karyawan = unit pemrosesan
  • Keuntungan
    • Daya komputasi ekstra
    • Jejak memori lebih kecil
  • Kerugian
    • Pemindahan data berbiaya
    • Waktu komunikasi
Memahami Data Engineering

membandingkan kinerja asisten penjualan junior dan senior

Memahami Data Engineering

butuh sepuluh menit untuk membagikan seribu kaus ke empat asisten junior

Memahami Data Engineering

butuh lima menit untuk mengumpulkan kaus dari empat asisten junior menjadi satu tumpukan

Memahami Data Engineering

pipeline data

Memahami Data Engineering

pipeline data

Memahami Data Engineering

Ringkasan

  • Manfaat dan risiko
  • Implementasi di Spotflix
Memahami Data Engineering

Ayo berlatih!

Memahami Data Engineering

Preparing Video For Download...