Pemrosesan data

Memahami Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

pipa data

Memahami Data Engineering

memindahkan data ke data lake

Memahami Data Engineering

memindahkan data ke data lake

Memahami Data Engineering

memeriksa data yang rusak

Memahami Data Engineering

Definisi umum

  • Pemrosesan data: mengubah data mentah menjadi informasi bermakna
Memahami Data Engineering

Nilai pemrosesan data

Secara konsep

  • Hapus data yang tidak diperlukan
  • Optimalkan biaya memori, proses, dan jaringan
  • Konversi tipe data

Di Spotflix

  • Tidak perlu data fitur pengujian jangka panjang
  • Tidak mampu menyimpan dan menyiarkan file sebesar ini
Memahami Data Engineering

pipa data

Memahami Data Engineering

pipa data

Memahami Data Engineering

pipa data

Memahami Data Engineering

Nilai pemrosesan data

Secara konsep

  • Hapus data yang tidak diinginkan
  • Untuk menghemat memori
  • Ubah tipe data
  • Atur data
  • Agar pas dengan skema/struktur
  • Tingkatkan produktivitas

Di Spotflix

  • Tidak perlu format lossless
  • Tidak mampu menyimpan file sebesar ini
  • Konversi lagu dari .flac ke .ogg
  • Tata ulang data dari data lake ke gudang data
  • Contoh tabel karyawan
  • Memungkinkan data scientist
Memahami Data Engineering

Cara data engineer memroses data

  • Manipulasi, pembersihan, dan perapihan data
    • yang bisa diautomasi
    • yang selalu perlu dilakukan
  • Simpan data di basis data yang terstruktur baik
  • Buat view di atas tabel basis data
  • Optimalkan kinerja basis data
  • Tolak file lagu yang korup
  • Putuskan perlakuan untuk metadata hilang
  • Pisahkan tabel artis dan album...
  • ...namun sediakan view yang menggabungkannya
  • Pengindeksan
Memahami Data Engineering

1 Perbedaan antara batch dan stream akan dijelaskan di pelajaran berikutnya!
Memahami Data Engineering

Logo Apache Spark

Memahami Data Engineering

Ringkasan

  • Apa itu pemrosesan data
  • Mengapa perlu
  • Terdiri dari apa
  • Bagaimana kami memroses data di Spotflix
Memahami Data Engineering

Ayo berlatih!

Memahami Data Engineering

Preparing Video For Download...