Pemrosesan data

Memahami Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

pipa data

memindahkan data ke data lake

memindahkan data ke data lake

memeriksa data yang rusak

Definisi umum

Pemrosesan data: mengubah data mentah menjadi informasi bermakna

Nilai pemrosesan data

Secara konsep

Hapus data yang tidak diperlukan
Optimalkan biaya memori, proses, dan jaringan
Konversi tipe data

Di Spotflix

Tidak perlu data fitur pengujian jangka panjang
Tidak mampu menyimpan dan menyiarkan file sebesar ini

pipa data

pipa data

pipa data

Nilai pemrosesan data

Secara konsep

Hapus data yang tidak diinginkan
Untuk menghemat memori
Ubah tipe data
Atur data
Agar pas dengan skema/struktur
Tingkatkan produktivitas

Di Spotflix

Tidak perlu format lossless
Tidak mampu menyimpan file sebesar ini
Konversi lagu dari .flac ke .ogg
Tata ulang data dari data lake ke gudang data
Contoh tabel karyawan
Memungkinkan data scientist

Cara data engineer memroses data

Manipulasi, pembersihan, dan perapihan data
- yang bisa diautomasi
- yang selalu perlu dilakukan
Simpan data di basis data yang terstruktur baik
Buat view di atas tabel basis data
Optimalkan kinerja basis data

Tolak file lagu yang korup
Putuskan perlakuan untuk metadata hilang
Pisahkan tabel artis dan album...
...namun sediakan view yang menggabungkannya
Pengindeksan

¹ Perbedaan antara batch dan stream akan dijelaskan di pelajaran berikutnya!

Logo Apache Spark

Ringkasan

Apa itu pemrosesan data
Mengapa perlu
Terdiri dari apa
Bagaimana kami memroses data di Spotflix

Ayo berlatih!

Memahami Data Engineering

Preparing Video For Download...