Menangani data hilang

Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Lisa Stuart

Data Scientist

Prasyarat

Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Garis besar kursus

  • Bab 1: Pra-pemrosesan dan Visualisasi
    • Data hilang, Pencilan, Normalisasi
  • Bab 2: Pembelajaran Terawasi
    • Seleksi fitur, Regularisasi, Rekayasa fitur
  • Bab 3: Pembelajaran Tak Terawasi
    • Pemilihan algoritma klaster, Ekstraksi fitur, Reduksi dimensi
  • Bab 4: Seleksi dan Evaluasi Model
    • Generalisasi dan evaluasi model, Seleksi model
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Pipeline machine learning (ML)

Gambaran Pipeline

Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Pipeline ML kita

Pipeline

Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Data hilang

  • Dampak berbagai teknik
  • Menemukan nilai hilang
  • Strategi penanganan
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Teknik

  1. Penghapusan
    • Hapus baris --> .dropna(axis=0)
    • Hapus kolom --> .dropna(axis=1)
  2. Imputasi
    • Isi dengan nol --> SimpleImputer(strategy='constant', fill_value=0)
    • Imputasi rata-rata -> SimpleImputer(strategy='mean')
    • Imputasi median --> SimpleImputer(strategy='median')
    • Imputasi modus --> SimpleImputer(strategy='most_frequent')
    • Imputasi iteratif --> IterativeImputer()
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Mengapa penting?

  • Kurangi peluang timbulnya bias
  • Kebanyakan algoritma ML memerlukan data lengkap
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Dampak imputasi

  • Bergantung pada:
    • Nilai yang hilang
    • Varians asli
    • Keberadaan pencilan
    • Besar dan arah skew
  • Penghapusan --> Dapat menghapus terlalu banyak
  • Nol --> Membiasakan hasil ke bawah
  • Rata-rata --> Lebih terpengaruh pencilan
  • Median --> Lebih baik saat ada pencilan
  • Modus dan imputasi iteratif --> Coba dan bandingkan
Berlatih Pertanyaan Wawancara Machine Learning dengan Python
Fungsi mengembalikan
df.isna().sum() jumlah yang hilang
df['feature'].mean() mean fitur
.shape dimensi baris, kolom
df.columns nama kolom
.fillna(0) isi nilai hilang dengan 0
select_dtypes(include = [np.number] ) kolom numerik
select_dtypes(include = ['object'] ) kolom string
.fit_transform(numeric_cols) fit dan transform
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Dampak nilai hilang

Apa dampak nilai hilang dalam konteks Machine Learning (ML)? Pilih pernyataan yang benar:

  • Nilai hilang bukan masalah karena sebagian besar algoritma sklearn dapat menanganinya.
  • Menghapus observasi atau fitur dengan nilai hilang umumnya ide yang baik.
  • Data hilang cenderung menimbulkan bias yang membuat hasil menyesatkan, sehingga tidak boleh diabaikan.
  • Mengisi nilai hilang dengan nol akan membiasakan hasil ke atas.
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Dampak nilai hilang: jawaban

Apa dampak nilai hilang dalam konteks Machine Learning (ML)? Jawaban yang benar:

  • Data hilang cenderung menimbulkan bias yang membuat hasil menyesatkan, sehingga tidak boleh diabaikan. (Uji beberapa cara imputasi dan pilih yang paling sedikit memengaruhi varians data.)
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Dampak nilai hilang: jawaban salah

Apa dampak nilai hilang dalam konteks Machine Learning (ML)?

  • Nilai hilang bukan masalah... (Sebagian besar algoritma sklearn tidak dapat menangani nilai hilang dan akan error.)
  • Menghapus observasi atau fitur dengan nilai hilang... (Kecuali data sangat besar dan proporsi nilai hilang kecil, menghapus baris/kolom biasanya membuat data menyusut terlalu banyak untuk ML selanjutnya.)
  • Mengisi nilai hilang dengan nol akan membiasakan hasil ke atas. (Sebaliknya, mengisi nol membiasakan ke bawah.)
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Ayo berlatih!

Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Preparing Video For Download...