Zpracování chybějících dat

Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Lisa Stuart

Data Scientist

Předpoklady

Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Osnova kurzu

  • Kapitola 1: Předzpracování a vizualizace
    • Chybějící data, odlehlé hodnoty, normalizace
  • Kapitola 2: Učení s učitelem
    • Výběr příznaků, regularizace, tvorba příznaků
  • Kapitola 3: Učení bez učitele
    • Výběr clusterovacího algoritmu, extrakce příznaků, redukce dimenzionality
  • Kapitola 4: Výběr a hodnocení modelu
    • Generalizace a hodnocení modelu, výběr modelu
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Pipeline strojového učení (ML)

Přehled pipeline

Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Naše ML pipeline

Pipeline

Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Chybějící data

  • Dopad různých technik
  • Nalezení chybějících hodnot
  • Strategie zpracování
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Techniky

  1. Vynechání
    • Odstranění řádků --> .dropna(axis=0)
    • Odstranění sloupců --> .dropna(axis=1)
  2. Imputace
    • Vyplnit nulou --> SimpleImputer(strategy='constant', fill_value=0)
    • Imputace průměru -> SimpleImputer(strategy='mean')
    • Imputace mediánu --> SimpleImputer(strategy='median')
    • Imputace modu --> SimpleImputer(strategy='most_frequent')
    • Iterativní imputace --> IterativeImputer()
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Proč se tím zabývat?

  • Snižuje pravděpodobnost zavedení zkreslení
  • Většina algoritmů ML vyžaduje úplná data
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Efekty imputace

  • Závisí na:
    • Chybějících hodnotách
    • Původním rozptylu
    • Přítomnosti odlehlých hodnot
    • Velikosti a směru šikmosti
  • Vynechání --> Může odstranit příliš mnoho
  • Nula --> Zkreslí výsledky dolů
  • Průměr --> Více ovlivněn odlehlými hodnotami
  • Medián --> Lepší při výskytu odlehlých hodnot
  • Modus a iterativní imputace --> Vyzkoušejte
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu
Funkce Vrací
df.isna().sum() počet chybějících
df['feature'].mean() průměr příznaku
.shape rozměry (řádky, sloupce)
df.columns názvy sloupců
.fillna(0) vyplní chybějící nulou
select_dtypes(include = [np.number] ) číselné sloupce
select_dtypes(include = ['object'] ) řetězcové sloupce
.fit_transform(numeric_cols) trénuje a transformuje
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Důsledky chybějících hodnot

Jaké jsou důsledky chybějících hodnot v kontextu strojového učení (ML)? Vyberte pravdivou odpověď:

  • Chybějící hodnoty nejsou problém, protože většina algoritmů sklearn je zvládne.
  • Odstranění pozorování nebo příznaků s chybějícími hodnotami je obecně dobrý nápad.
  • Chybějící data mají tendenci zavádět zkreslení vedoucí k zavádějícím výsledkům, nelze je ignorovat.
  • Vyplnění chybějících hodnot nulou zkresluní výsledky nahoru.
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Důsledky chybějících hodnot: odpověď

Jaké jsou důsledky chybějících hodnot v kontextu strojového učení (ML)? Správná odpověď je:

  • Chybějící data mají tendenci zavádět zkreslení vedoucí k zavádějícím výsledkům, nelze je ignorovat. (Nejlepší přístup je testovat, která metoda vyplnění nejméně ovlivní rozptyl daného datasetu.)
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Důsledky chybějících hodnot: nesprávné odpovědi

Jaké jsou důsledky chybějících hodnot v kontextu strojového učení (ML)?

  • Chybějící hodnoty nejsou problém... (Většina algoritmů sklearn chybějící hodnoty nezvládne a vyhodí chybu.)
  • Odstranění pozorování nebo příznaků s chybějícími hodnotami... (Pokud dataset není velký a podíl chybějících hodnot malý, odstraněním řádků nebo sloupců dataset příliš zmenšíme a stane se pro ML nepoužitelným.)
  • Vyplnění chybějících hodnot nulou zkresluní výsledky nahoru. (Je to naopak – vyplnění nulou zkresluní výsledky dolů.)
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Lass uns üben!

Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Preparing Video For Download...