Pemrosesan data

Memahami Rekayasa Data

Hadrien Lacroix

Content Developer at DataCamp

pipa data

Memahami Rekayasa Data

memindahkan data ke data lake

Memahami Rekayasa Data

memindahkan data ke data lake

Memahami Rekayasa Data

memeriksa data yang rusak

Memahami Rekayasa Data

Definisi umum

  • Pemrosesan data: mengubah data mentah menjadi informasi bermakna
Memahami Rekayasa Data

Nilai pemrosesan data

Secara konsep

  • Hapus data yang tidak diperlukan
  • Optimalkan biaya memori, proses, dan jaringan
  • Konversi tipe data

Di Spotflix

  • Tidak perlu data fitur pengujian jangka panjang
  • Tidak mampu menyimpan dan menyiarkan file sebesar ini
Memahami Rekayasa Data

pipa data

Memahami Rekayasa Data

pipa data

Memahami Rekayasa Data

pipa data

Memahami Rekayasa Data

Nilai pemrosesan data

Secara konsep

  • Hapus data yang tidak diinginkan
  • Untuk menghemat memori
  • Ubah tipe data
  • Atur data
  • Agar pas dengan skema/struktur
  • Tingkatkan produktivitas

Di Spotflix

  • Tidak perlu format lossless
  • Tidak mampu menyimpan file sebesar ini
  • Konversi lagu dari .flac ke .ogg
  • Tata ulang data dari data lake ke gudang data
  • Contoh tabel karyawan
  • Memungkinkan data scientist
Memahami Rekayasa Data

Cara data engineer memroses data

  • Manipulasi, pembersihan, dan perapihan data
    • yang bisa diautomasi
    • yang selalu perlu dilakukan
  • Simpan data di basis data yang terstruktur baik
  • Buat view di atas tabel basis data
  • Optimalkan kinerja basis data
  • Tolak file lagu yang korup
  • Putuskan perlakuan untuk metadata hilang
  • Pisahkan tabel artis dan album...
  • ...namun sediakan view yang menggabungkannya
  • Pengindeksan
Memahami Rekayasa Data

1 Perbedaan antara batch dan stream akan dijelaskan di pelajaran berikutnya!
Memahami Rekayasa Data

Logo Apache Spark

Memahami Rekayasa Data

Ringkasan

  • Apa itu pemrosesan data
  • Mengapa perlu
  • Terdiri dari apa
  • Bagaimana kami memroses data di Spotflix
Memahami Rekayasa Data

Ayo berlatih!

Memahami Rekayasa Data

Preparing Video For Download...