Mengapa menangani data hilang?
Menangani Data Hilang di Python
Suraj Donthi
Deep Learning & Computer Vision Consultant
Mengapa data hilang terjadi?
- Data dunia nyata itu berantakan
Tahukah Anda 72% organisasi percaya bahwa masalah kualitas data menghambat kepercayaan dan persepsi pelanggan?
1 [Top 9 Benefits of Data Cleansing for Businesses](https://bit.ly/2QwMrab)
Mengapa data hilang terjadi?
- Nilai terlewat saat akuisisi data
- Sensor cuaca bermasalah saat analisis cuaca
- Info pasien tidak lengkap untuk diagnosis medis, dll.
- Nilai terhapus tidak sengaja
- Kehilangan data
- Terhapus karena kesalahan manusia
Di kursus ini, Anda akan mempelajari
- pentingnya menangani nilai hilang
- mendeteksi nilai hilang pada data berantakan
- menganalisis jenis missingness
- menangani nilai hilang dengan tepat untuk
- numerik
- deret waktu
- kategorikal
Di kursus ini, Anda akan mempelajari
- mengimputasi (mengganti) nilai hilang dengan teknik sederhana
- mengimputasi dengan teknik lanjutan
- mengevaluasi metode terbaik untuk menangani nilai hilang
Alur kerja penanganan nilai hilang
- Ubah semua nilai hilang menjadi nilai null.
- Analisis jumlah dan jenis missingness pada data.
- Hapus atau imputasi nilai hilang secara tepat.
- Evaluasi & bandingkan kinerja data yang telah ditangani/diimputasi.
Operasi nilai NULL
None
None or True # Same for False
True
None + True # For all operators
TypeError: unsupported operand
None / 3 # For all operators
TypeError: unsupported operand
type(None)
NoneType
np.nan
import numpy as np
np.nan or True # Same for False
nan
np.nan * True # For all operators
nan
np.nan - 3 # For all operators
nan
type(np.nan)
float
Operasi nilai NULL
None
None == None
True
np.isnan(None)
False
np.nan
np.nan == np.nan
False
np.isnan(np.nan)
True
Ayo berlatih!
Menangani Data Hilang di Python
