Zpracování chybějících dat

Přetváření dat s pandas

Maria Eugenia Inzaugarat

Data Scientist

Opakování

  • Stack a unstack DataFramů:
    • Všechny úrovně indexu sloupců
    • Úroveň řádkového indexu
    • Výběr úrovní pro stack nebo unstack
Přetváření dat s pandas

Unstack vede k chybějícím hodnotám

Podskupiny nemají stejnou sadu štítků

animals
                                jump  run  fly
class    order         name                   
Mammalia carnivora     dog        No  Yes   No
         Diprotodontia Kangaroo  Yes   No   No
Aves     hervibora     bird       No   No  Yes
Přetváření dat s pandas

Unstack vede k chybějícím hodnotám

Podskupiny nemají stejnou sadu štítků

animals
                                jump  run  fly
class    order         name                   
   Mammalia carnivora     dog        No  Yes   No <--
         Diprotodontia Kangaroo  Yes   No   No
Aves     hervibora     bird       No   No  Yes
Přetváření dat s pandas

Unstack vede k chybějícím hodnotám

Podskupiny nemají stejnou sadu štítků

animals.unstack(level='class')
                                 jump            run           fly         
        clas             Aves Mammalia Aves Mammalia Aves Mammalia
        order       name                                              
  Diprotodontia Kangaroo  NaN      Yes  NaN       No  NaN       No
      carnivora      Dog  NaN       No  NaN      Yes  NaN       No
Charadriiformes   Avocet   No      NaN   No      NaN  Yes      NaN
Přetváření dat s pandas

Unstack vede k chybějícím hodnotám

Podskupiny nemají stejnou sadu štítků

animals.unstack(level='class')
                                 jump            run           fly         
        clas             Aves Mammalia Aves Mammalia Aves Mammalia
        order       name                                              
  Diprotodontia Kangaroo  NaN      Yes  NaN       No  NaN       No
  -----------------------------
      carnivora      Dog  NaN <--  No   NaN      Yes  NaN       No
  -----------------------------
Charadriiformes   Avocet   No      NaN   No      NaN  Yes      NaN
Přetváření dat s pandas

Zpracování NaN při unstack

animals.unstack(level='class', fill_value=    )
Přetváření dat s pandas

Zpracování NaN při unstack

animals.unstack(level='class', fill_value='No')
Přetváření dat s pandas

Zpracování NaN při unstack

animals.unstack(level='class', fill_value='No').sort_index(level=['order', 'name'], ascending=[True, False])
                                 jump            run           fly         
        clas             Aves Mammalia Aves Mammalia Aves Mammalia
        order       name                                              
  Diprotodontia Kangaroo   No      Yes   No       No   No       No
      carnivora      Dog   No       No   No      Yes   No       No
Charadriiformes   Avocet   No       No   No       No  Yes       No
Přetváření dat s pandas

Stack a chybějící hodnoty

Kombinace hodnot indexu a sloupců chybějící v původním DataFrame

flowers
     petals Stigma
     number   size
rose     40    NaN
Lily      8      5
Přetváření dat s pandas

Stack a chybějící hodnoty

Kombinace hodnot indexu a sloupců chybějící v původním DataFrame

flowers.stack()
            Stigma  petals
rose number    NaN    40.0
Lily number    NaN     8.0
       size      5     NaN
Přetváření dat s pandas

Stack a chybějící hodnoty

Kombinace hodnot indexu a sloupců chybějící v původním DataFrame

flowers.stack(dropna=True)
            Stigma  petals
rose number    NaN    40.0
Lily number    NaN     8.0
       size      5     NaN
Přetváření dat s pandas

Stack a chybějící hodnoty

Kombinace hodnot indexu a sloupců chybějící v původním DataFrame

flowers.stack(dropna=False)
            Stigma  petals
rose number    NaN    40.0
         size    NaN     NaN <--
Lily number    NaN     8.0
       size      5     NaN
Přetváření dat s pandas

Zpracování NaN při stack

flowers.stack(dropna=False).fillna(0)
            Stigma  petals
rose number      0    40.0
       size      0       0
Lily number      0     8.0
       size      5       0
Přetváření dat s pandas

Pojďme procvičovat!

Přetváření dat s pandas

Preparing Video For Download...