Робота з пропущеними даними

Переформатування даних у pandas

Maria Eugenia Inzaugarat

Data Scientist

Підсумок

Стек і анстек DataFrame:
- Усі рівні індексу стовпців
- Один рівень індексу рядків
- Оберіть, які рівні стекати або анстекати

Анстек призводить до пропусків

Підгрупи не мають однакового набору міток

animals

                                jump  run  fly
class    order         name                   
Mammalia carnivora     dog        No  Yes   No
         Diprotodontia Kangaroo  Yes   No   No
Aves     hervibora     bird       No   No  Yes

Анстек призводить до пропусків

Підгрупи не мають однакового набору міток

animals

                                jump  run  fly
class    order         name                   
   Mammalia carnivora     dog        No  Yes   No <--
         Diprotodontia Kangaroo  Yes   No   No
Aves     hervibora     bird       No   No  Yes

Анстек призводить до пропусків

Підгрупи не мають однакового набору міток

animals.unstack(level='class')

                                 jump            run           fly         
        clas             Aves Mammalia Aves Mammalia Aves Mammalia
        order       name                                              
  Diprotodontia Kangaroo  NaN      Yes  NaN       No  NaN       No
      carnivora      Dog  NaN       No  NaN      Yes  NaN       No
Charadriiformes   Avocet   No      NaN   No      NaN  Yes      NaN

Анстек призводить до пропусків

Підгрупи не мають однакового набору міток

animals.unstack(level='class')

                                 jump            run           fly         
        clas             Aves Mammalia Aves Mammalia Aves Mammalia
        order       name                                              
  Diprotodontia Kangaroo  NaN      Yes  NaN       No  NaN       No
  -----------------------------
      carnivora      Dog  NaN <--  No   NaN      Yes  NaN       No
  -----------------------------
Charadriiformes   Avocet   No      NaN   No      NaN  Yes      NaN

Обробка NaN з unstack

animals.unstack(level='class', fill_value=    )

Обробка NaN з unstack

animals.unstack(level='class', fill_value='No')

Обробка NaN з unstack

animals.unstack(level='class', fill_value='No').sort_index(level=['order', 'name'], ascending=[True, False])

                                 jump            run           fly         
        clas             Aves Mammalia Aves Mammalia Aves Mammalia
        order       name                                              
  Diprotodontia Kangaroo   No      Yes   No       No   No       No
      carnivora      Dog   No       No   No      Yes   No       No
Charadriiformes   Avocet   No       No   No       No  Yes       No

Stack і пропуски

Комбінації значень індексу та стовпців, відсутні в початковому DataFrame

flowers

     petals Stigma
     number   size
rose     40    NaN
Lily      8      5

Stack і пропуски

Комбінації значень індексу та стовпців, відсутні в початковому DataFrame

flowers.stack()

            Stigma  petals
rose number    NaN    40.0
Lily number    NaN     8.0
       size      5     NaN

Stack і пропуски

Комбінації значень індексу та стовпців, відсутні в початковому DataFrame

flowers.stack(dropna=True)

            Stigma  petals
rose number    NaN    40.0
Lily number    NaN     8.0
       size      5     NaN

Stack і пропуски

Комбінації значень індексу та стовпців, відсутні в початковому DataFrame

flowers.stack(dropna=False)

            Stigma  petals
rose number    NaN    40.0
         size    NaN     NaN <--
Lily number    NaN     8.0
       size      5     NaN

Обробка NaN зі stack

flowers.stack(dropna=False).fillna(0)

            Stigma  petals
rose number      0    40.0
       size      0       0
Lily number      0     8.0
       size      5       0

Давайте потренуємось!

Переформатування даних у pandas