Pencilan data dan penskalaan

Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Lisa Stuart

Data Scientist

Pencilan (Outliers)

  • Satu atau lebih observasi yang jauh dari mayoritas observasi pada suatu fitur.

Pencilan data

1 https://bolt.mph.ufl.edu/6050-6052/unit-1/one-quantitative-variable-introduction/understanding-outliers/
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Rentang antar-kuartil (IQR)

IQR data

1 By Jhguch at en.wikipedia, CC BY-SA 2.5, https://commons.wikimedia.org/w/index.php?curid=14524285
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Garis kecocokan terbaik

Kecocokan model linear

1 https://www.r-bloggers.com/outlier-detection-and-treatment-with-r/
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Fungsi pencilan

Function returns
sns.boxplot(x= , y='Loan Status') boxplot berdasarkan variabel target
sns.distplot() histogram dan kernel density estimate (kde)
np.abs() nilai absolut
stats.zscore() menghitung z-score
mstats.winsorize(limits=[0.05, 0.05]) batas bawah/atas untuk pencilan
np.where(condition, true, false) mengganti nilai
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Varians tinggi vs rendah

Varians

1 https://machinelearningmastery.com/a-gentle-introduction-to-calculating-normal-summary-statistics/
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Standardisasi vs normalisasi

  • Standardisasi:
    • Standardisasi z-score
    • Menskalakan ke mean 0 dan sd 1

Rumus standardisasi z-score

  • Normalisasi:
    • Min–maks
    • Menskalakan ke rentang (0, 1)

Rumus penskalaan min-maks

1 https://medium.com/@rrfd/standardize-or-normalize-examples-in-python-e3f174b65dfc
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Fungsi penskalaan

  • scikit-learn.preprocessing.StandardScaler() --> (mean=0, sd=1)
  • sklearn.preprocessing.MinMaxScaler() --> (0,1)
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Pencilan dan penskalaan

Bagaimana cara mengidentifikasi dan menangani pencilan? Apa dampak min/maks atau standardisasi z-score pada data? Pilih pernyataan yang benar:

  • Pencilan adalah titik yang hanya sedikit di luar rentang titik serupa pada suatu fitur.
  • Dalam konteks tertentu, pencilan yang dianggap anomali berguna untuk membangun model ML prediktif.
  • Penskalaan min/maks memberi mean 0, SD 1, dan meningkatkan varians.
  • Standardisasi z-score menskalakan data ke interval (0,1) dan meningkatkan kecocokan model.
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Pencilan dan penskalaan: jawaban

Bagaimana cara mengidentifikasi dan menangani pencilan? Apa dampak min/maks atau standardisasi z-score pada data? Jawaban yang benar:

  • Dalam konteks tertentu, pencilan yang dianggap anomali berguna untuk membangun model ML prediktif. (Anomali data umum pada deteksi penipuan, insiden keamanan siber, dan skenario lain yang memang ingin ditemukan.)
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Pencilan dan penskalaan: jawaban salah

Bagaimana cara mengidentifikasi dan menangani pencilan? Apa dampak min/maks atau standardisasi z-score pada data?

  • Pencilan hanya sedikit di luar rentang titik serupa pada suatu fitur. (Titik dicurigai pencilan jika lebih dari 1,5 kali di luar IQR.)
  • Penskalaan min/maks memberi mean 0, SD 1, dan meningkatkan varians. (Min/maks menskalakan ke interval (0,1); peningkatan/penurunan varians tergantung data awal.)
  • Standardisasi z-score menskalakan ke interval (0,1) dan meningkatkan kecocokan model. (Z-score memberi mean 0 dan sd 1, yang dapat memperbaiki kecocokan model.)
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Satu hal lagi...

Langkah prapemrosesan

Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Ayo berlatih!

Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Preparing Video For Download...