Pipa data

Memahami Rekayasa Data

Hadrien Lacroix

Content Developer at DataCamp

Jika data adalah minyak baru...

data adalah minyak baru - sampul the economist

1 The Economist, 2017-05-06, oleh David Parkins
Memahami Rekayasa Data

sumur minyak

Memahami Rekayasa Data

pipa dari sumur minyak

Memahami Rekayasa Data

distilasi

Memahami Rekayasa Data

residu

Memahami Rekayasa Data

minyak berat

Memahami Rekayasa Data

diesel

Memahami Rekayasa Data

minyak tanah

Memahami Rekayasa Data

nafta

Memahami Rekayasa Data

bensin

Memahami Rekayasa Data

minyak tanah dikirim langsung ke bandara

Memahami Rekayasa Data

bensin dikirim ke fasilitas penyimpanan

Memahami Rekayasa Data

bensin dikirim dari fasilitas penyimpanan ke SPBU

Memahami Rekayasa Data

nafta mengalami transformasi kimia

Memahami Rekayasa Data

plastik dikirim ke pabrik

Memahami Rekayasa Data

Kembali ke rekayasa data

  • Ingest
  • Proses
  • Simpan
  • Butuh pipa
  • Otomatiskan alur dari satu stasiun ke berikutnya
  • Sediakan data mutakhir, akurat, relevan

$$

insinyur data

Memahami Rekayasa Data

ponsel

Memahami Rekayasa Data

komputer

Memahami Rekayasa Data

situs web

Memahami Rekayasa Data

pipa dari aplikasi seluler, desktop, dan situs web

Memahami Rekayasa Data

rak data

Memahami Rekayasa Data

artis

Memahami Rekayasa Data

album

Memahami Rekayasa Data

lagu

Memahami Rekayasa Data

daftar putar

Memahami Rekayasa Data

pelanggan

Memahami Rekayasa Data

karyawan

Memahami Rekayasa Data

Basis data artis

Memahami Rekayasa Data

karyawan penjualan

Memahami Rekayasa Data

karyawan teknik

Memahami Rekayasa Data

Karyawan dukungan

Memahami Rekayasa Data

Karyawan penjualan Amerika Serikat

Memahami Rekayasa Data

Karyawan penjualan Belgia

Memahami Rekayasa Data

Karyawan penjualan Prancis

Memahami Rekayasa Data

periksa dan bersihkan lagu

Memahami Rekayasa Data

tulis lagu bersih ke basis data

Memahami Rekayasa Data

Memahami Rekayasa Data

Memahami Rekayasa Data

Memahami Rekayasa Data

Memahami Rekayasa Data

Memahami Rekayasa Data

Memahami Rekayasa Data

Memahami Rekayasa Data

Memahami Rekayasa Data

Memahami Rekayasa Data

Oprah membagikan pipa

Memahami Rekayasa Data

Oprah membagikan pipa

Memahami Rekayasa Data

Oprah membagikan pipa

Memahami Rekayasa Data

Pipa data memastikan aliran data yang efisien

Otomatiskan

  • Ekstraksi
  • Transformasi
  • Penggabungan
  • Validasi
  • Pemuatan

Kurangi

  • Intervensi manusia
  • Kesalahan
  • Waktu aliran data
Memahami Rekayasa Data

ETL dan pipa data

ETL

  • Kerangka populer untuk merancang pipa data
  • 1) Extract data
  • 2) Transform data yang diekstrak
  • 3) Load data yang ditransformasikan ke basis data lain

Pipa data

  • Memindahkan data antar sistem
  • Dapat mengikuti ETL
  • Data bisa tidak ditransformasikan
  • Data bisa langsung dimuat ke aplikasi
Memahami Rekayasa Data

Ringkasan

  • Apa itu pipa data
  • Apa fungsinya
  • Mengapa penting
  • Cara penerapan di Spotflix
  • Apa itu ETL dan nuansanya
Memahami Rekayasa Data

Ayo berlatih!

Memahami Rekayasa Data

Preparing Video For Download...