Gestionarea datelor lipsă

Exersează întrebări de interviu pentru Machine Learning în Python

Lisa Stuart

Data Scientist

Cerințe prealabile

Exersează întrebări de interviu pentru Machine Learning în Python

Structura cursului

  • Capitolul 1: Pre-procesare și vizualizare
    • Date lipsă, valori extreme, normalizare
  • Capitolul 2: Învățare supervizată
    • Selecția caracteristicilor, regularizare, ingineria caracteristicilor
  • Capitolul 3: Învățare nesupervizată
    • Selecția algoritmului de clustering, extragerea caracteristicilor, reducerea dimensionalității
  • Capitolul 4: Selecția și evaluarea modelelor
    • Generalizarea și evaluarea modelelor, selecția modelelor
Exersează întrebări de interviu pentru Machine Learning în Python

Pipeline de machine learning (ML)

Prezentare generală a pipeline-ului

Exersează întrebări de interviu pentru Machine Learning în Python

Pipeline-ul nostru ML

Pipeline

Exersează întrebări de interviu pentru Machine Learning în Python

Date lipsă

  • Impactul diferitelor tehnici
  • Identificarea valorilor lipsă
  • Strategii de gestionare
Exersează întrebări de interviu pentru Machine Learning în Python

Tehnici

  1. Omitere
    • Eliminarea rândurilor --> .dropna(axis=0)
    • Eliminarea coloanelor --> .dropna(axis=1)
  2. Imputare
    • Completare cu zero --> SimpleImputer(strategy='constant', fill_value=0)
    • Imputarea mediei -> SimpleImputer(strategy='mean')
    • Imputarea medianei --> SimpleImputer(strategy='median')
    • Imputarea modei --> SimpleImputer(strategy='most_frequent')
    • Imputare iterativă --> IterativeImputer()
Exersează întrebări de interviu pentru Machine Learning în Python

De ce este important?

  • Reduce probabilitatea introducerii bias-ului
  • Majoritatea algoritmilor ML necesită date complete
Exersează întrebări de interviu pentru Machine Learning în Python

Efectele imputării

  • Depind de:
    • Valorile lipsă
    • Varianța originală
    • Prezența valorilor extreme
    • Mărimea și direcția asimetriei
  • Omitere --> Poate elimina prea mult
  • Zero --> Bias descendent al rezultatelor
  • Medie --> Mai afectată de valorile extreme
  • Mediană --> Mai bună în prezența valorilor extreme
  • Modă și imputare iterativă --> Testați-le
Exersează întrebări de interviu pentru Machine Learning în Python
Funcție returnează
df.isna().sum() numărul valorilor lipsă
df['feature'].mean() media caracteristicii
.shape dimensiuni rânduri, coloane
df.columns numele coloanelor
.fillna(0) completează cu 0
select_dtypes(include = [np.number] ) coloane numerice
select_dtypes(include = ['object'] ) coloane text
.fit_transform(numeric_cols) ajustează și transformă
Exersează întrebări de interviu pentru Machine Learning în Python

Efectele valorilor lipsă

Care sunt efectele valorilor lipsă în Machine Learning (ML)? Selectați răspunsul adevărat:

  • Valorile lipsă nu sunt o problemă, deoarece majoritatea algoritmilor sklearn le pot gestiona.
  • Eliminarea observațiilor sau caracteristicilor cu valori lipsă este în general o idee bună.
  • Datele lipsă tind să introducă bias care duce la rezultate înșelătoare și nu pot fi ignorate.
  • Completarea valorilor lipsă cu zero va deplasa rezultatele în sus.
Exersează întrebări de interviu pentru Machine Learning în Python

Efectele valorilor lipsă: răspuns

Care sunt efectele valorilor lipsă în Machine Learning (ML)? Răspunsul corect este:

  • Datele lipsă tind să introducă bias care duce la rezultate înșelătoare și nu pot fi ignorate. (Cea mai bună abordare este testarea metodei de completare care afectează cel mai puțin varianța setului de date.)
Exersează întrebări de interviu pentru Machine Learning în Python

Efectele valorilor lipsă: răspunsuri incorecte

Care sunt efectele valorilor lipsă în Machine Learning (ML)?

  • Valorile lipsă nu sunt o problemă... (Majoritatea algoritmilor sklearn nu pot gestiona valorile lipsă și vor genera o eroare.)
  • Eliminarea observațiilor sau caracteristicilor cu valori lipsă... (Dacă setul de date nu este mare și proporția valorilor lipsă nu este mică, eliminarea rândurilor sau coloanelor reduce de obicei prea mult setul de date pentru a fi util în ML.)
  • Completarea valorilor lipsă cu zero va deplasa rezultatele în sus. (Invers: completarea cu zero deplasează rezultatele în jos.)
Exersează întrebări de interviu pentru Machine Learning în Python

Să exersăm!

Exersează întrebări de interviu pentru Machine Learning în Python

Preparing Video For Download...