Formaty danych: szeroki i długi

Przekształcanie danych z pandas

Maria Eugenia Inzaugarat

Data Scientist

Czego się nauczysz

Formaty szeroki i długi
Transformacja z długiego na szeroki
Transformacja z szerokiego na długi
Układanie i rozwijanie kolumn
Przekształcanie złożonych danych, np. kolumn tekstowych lub JSON

Dlaczego to jest ważne

Tidy datasets
Dane w nieodpowiednim formacie do analizy:
- Czytelność dla człowieka a analiza statystyczna
Zagnieżdżone dane w DataFrame są trudne w obsłudze
Statystyki zbiorcze dla DataFrame z wielopoziomowym indeksem

Kształt danych

Sposób organizacji zbioru danych w wierszach i kolumnach

fifa_players = pd.read_csv("fifa_players.csv")
fifa_players

                name    age   nationality           club
0       Lionel Messi     32     Argentina      Barcelona
1  Cristiano Ronaldo     34      Portugal       Juventus
2    Neymar da Silva     27        Brazil  Saint-Germain

fifa_players.shape

(3, 4)

Format szeroki

fifa_players


                name    age   nationality           club
0       Lionel Messi     32     Argentina      Barcelona
1  Cristiano Ronaldo     34      Portugal       Juventus
2    Neymar da Silva     27        Brazil  Saint-Germain

Format szeroki

fifa_players

                         vv  
                name   | age | nationality          club
0       Lionel Messi   | 32  |  Argentina      Barcelona
1  Cristiano Ronaldo   | 34  |   Portugal       Juventus
2    Neymar da Silva   | 27  |     Brazil  Saint-Germain
                         ^^

Każda cecha w osobnej kolumnie

Format szeroki

fifa_players


                name    age   nationality           club
0       Lionel Messi     32     Argentina      Barcelona <--
1  Cristiano Ronaldo     34      Portugal       Juventus <--
2    Neymar da Silva     27        Brazil  Saint-Germain <--

Każda cecha w osobnej kolumnie
Każdy wiersz zawiera wiele cech tego samego gracza

Format szeroki

fifa_players

                name    age   nationality           club
0       Lionel Messi     32     Argentina      Barcelona
 --------------------------------------------------------
1    Cristiano Ronaldo    NaN  <-    Portugal       Juventus
 --------------------------------------------------------
2    Neymar da Silva     27        Brazil  Saint-Germain

Każda cecha w osobnej kolumnie
Każdy wiersz zawiera wiele cech tego samego gracza
Brak powtórzeń, lecz dużo brakujących wartości
Proste statystyki i imputacja

Format długi

fifa_players_long.head()

               name     variable     value
0 Cristiano Ronaldo  nationality   Portugal 
1 Cristiano Ronaldo         club   Juventus 
2      Lionel Messi          age         32
3      Lionel Messi  nationality  Argentina 
4      Lionel Messi         club  Barcelona

Format długi

fifa_players_long.head()

               name     variable     value
0   Cristiano Ronaldo  nationality   Portugal <--
1 Cristiano Ronaldo         club  Juventus 
2      Lionel Messi          age        32
3        Lionel Messi  nationality  Argentina <--
4      Lionel Messi         club  Barcelona

Każdy wiersz reprezentuje jedną cechę

Format długi

fifa_players_long.head()

               name     variable     value
0   Cristiano Ronaldo  nationality   Portugal <--
1   Cristiano Ronaldo         club   Juventus <--
2      Lionel Messi          age         32
3      Lionel Messi  nationality  Argentina 
4      Lionel Messi         club  Barcelona

Każdy wiersz reprezentuje jedną cechę
Wiele wierszy dla każdego gracza

Format długi

fifa_players_long.head()

  |              name |    variable      value
0 | Cristiano Ronaldo | nationality   Portugal
1 | Cristiano Ronaldo |        club   Juventus
2 |      Lionel Messi |         age         32
3 |      Lionel Messi | nationality  Argentina 
4 |      Lionel Messi |        club  Barcelona
        ^^^^^^^^^^^

Każdy wiersz reprezentuje jedną cechę
Wiele wierszy dla każdego gracza
Kolumna (name) identyfikuje tego samego gracza

Format długi

fifa_players_long.head()

               name     variable     value
0 Cristiano Ronaldo  nationality   Portugal 
1 Cristiano Ronaldo         club   Juventus 
2      Lionel Messi          age         32
3      Lionel Messi  nationality  Argentina 
4      Lionel Messi         club  Barcelona

Każdy wiersz reprezentuje jedną cechę
Wiele wierszy dla każdego gracza
Kolumna (name) identyfikuje tego samego gracza
Tidy data:
- Lepsze do podsumowania danych
- Pary klucz–wartość
- Preferowane do analizy i wizualizacji

Przekształcanie danych

Przekształcanie struktury DataFrame lub Series na potrzeby analizy
- Transpozycja DataFrame

fifa_players.set_index('club')

                             name  age  nationality
         club 
    Barcelona        Lionel Messi   32    Argentina
     Juventus   Cristiano Ronaldo  NaN     Portugal
Saint-Germain     Neymar da Silva   27       Brazil

Przekształcanie danych

Przekształcanie struktury DataFrame lub Series na potrzeby analizy
- Transpozycja DataFrame

fifa_players.set_index('club')[['name', 'nationality']]

                               name   nationality 
         club 
    Barcelona        Lionel Messi       Argentina
     Juventus   Cristiano Ronaldo        Portugal
Saint-Germain     Neymar da Silva          Brazil

Przekształcanie danych

Przekształcanie struktury DataFrame lub Series na potrzeby analizy
- Transpozycja DataFrame

fifa_players.set_index('club')[['name', 'nationality']].transpose()

       club         Barcelona           Juventus     Saint-Germain
       name      Lionel Messi  Cristiano Ronaldo   Neymar da Silva
nationality         Argentina           Portugal            Brazil

Przekształcanie danych

Konwersja danych z formatu szerokiego na długi i odwrotnie
Jednostka analizy:
- Format długi -> cecha gracza
- Format szeroki -> każdy gracz

Transformacja z szerokiego na długi

Wykonywane za pomocą funkcji pandas, takich jak:
- .melt()
- .wide_to_long()

Z formatu długiego na szeroki

Przekształcanie danych metodami pandas, na przykład:
- .pivot()
- .pivot_table()

Czas na ćwiczenia!

Przekształcanie danych z pandas