Formats de données « wide » et « long »

Remanier des données avec pandas

Maria Eugenia Inzaugarat

Data Scientist

Vous apprendrez

  • Formats wide et long
  • Conversion de long vers wide
  • Conversion de wide vers long
  • Empiler et dés-empiler des colonnes
  • Remodeler et gérer des données complexes, p. ex. colonnes de chaînes ou JSON
Remanier des données avec pandas

Pourquoi c'est important

  • Jeux de données « tidy »
  • Données pas au bon format pour l'analyse :
    • Lisible par humain vs analyse statistique
  • Données imbriquées dans des DataFrames : manipulation complexe
  • Obtenir des statistiques sommaires pour des DataFrames à index multi-niveaux
Remanier des données avec pandas

Forme des données

  • La façon dont un ensemble de données est organisé en lignes et colonnes
fifa_players = pd.read_csv("fifa_players.csv")
fifa_players

                name    age   nationality           club
0       Lionel Messi     32     Argentina      Barcelona
1  Cristiano Ronaldo     34      Portugal       Juventus
2    Neymar da Silva     27        Brazil  Saint-Germain

fifa_players.shape

(3, 4)
Remanier des données avec pandas

Format wide

fifa_players


                name    age   nationality           club
0       Lionel Messi     32     Argentina      Barcelona
1  Cristiano Ronaldo     34      Portugal       Juventus
2    Neymar da Silva     27        Brazil  Saint-Germain
Remanier des données avec pandas

Format wide

fifa_players

                         vv  
                name   | age | nationality          club
0       Lionel Messi   | 32  |  Argentina      Barcelona
1  Cristiano Ronaldo   | 34  |   Portugal       Juventus
2    Neymar da Silva   | 27  |     Brazil  Saint-Germain
                         ^^
  • Chaque caractéristique est dans une colonne distincte
Remanier des données avec pandas

Format wide

fifa_players


                name    age   nationality           club
0       Lionel Messi     32     Argentina      Barcelona <--
1  Cristiano Ronaldo     34      Portugal       Juventus <--
2    Neymar da Silva     27        Brazil  Saint-Germain <--
  • Chaque caractéristique est dans une colonne distincte
  • Chaque ligne contient plusieurs caractéristiques du même joueur
Remanier des données avec pandas

Format wide

fifa_players

                name    age   nationality           club
0       Lionel Messi     32     Argentina      Barcelona
 --------------------------------------------------------
1    Cristiano Ronaldo    NaN  <-    Portugal       Juventus
 --------------------------------------------------------
2    Neymar da Silva     27        Brazil  Saint-Germain
  • Chaque caractéristique est dans une colonne distincte
  • Chaque ligne contient plusieurs caractéristiques du même joueur
  • Aucune répétition mais beaucoup de valeurs manquantes
  • Statistiques simples et imputation
Remanier des données avec pandas

Format long

fifa_players_long.head()

               name     variable     value
0 Cristiano Ronaldo  nationality   Portugal 
1 Cristiano Ronaldo         club   Juventus 
2      Lionel Messi          age         32
3      Lionel Messi  nationality  Argentina 
4      Lionel Messi         club  Barcelona
Remanier des données avec pandas

Format long

fifa_players_long.head()

               name     variable     value
0   Cristiano Ronaldo  nationality   Portugal <--
1 Cristiano Ronaldo         club  Juventus 
2      Lionel Messi          age        32
3        Lionel Messi  nationality  Argentina <--
4      Lionel Messi         club  Barcelona
  • Chaque ligne représente une caractéristique
Remanier des données avec pandas

Format long

fifa_players_long.head()

               name     variable     value
0   Cristiano Ronaldo  nationality   Portugal <--
1   Cristiano Ronaldo         club   Juventus <--
2      Lionel Messi          age         32
3      Lionel Messi  nationality  Argentina 
4      Lionel Messi         club  Barcelona
  • Chaque ligne représente une caractéristique
  • Plusieurs lignes par joueur
Remanier des données avec pandas

Format long

fifa_players_long.head()

  |              name |    variable      value
0 | Cristiano Ronaldo | nationality   Portugal
1 | Cristiano Ronaldo |        club   Juventus
2 |      Lionel Messi |         age         32
3 |      Lionel Messi | nationality  Argentina 
4 |      Lionel Messi |        club  Barcelona
        ^^^^^^^^^^^
  • Chaque ligne représente une caractéristique
  • Plusieurs lignes par joueur
  • Une colonne (name) pour identifier un même joueur
Remanier des données avec pandas

Format long

fifa_players_long.head()

               name     variable     value
0 Cristiano Ronaldo  nationality   Portugal 
1 Cristiano Ronaldo         club   Juventus 
2      Lionel Messi          age         32
3      Lionel Messi  nationality  Argentina 
4      Lionel Messi         club  Barcelona
  • Chaque ligne représente une caractéristique
  • Plusieurs lignes par joueur
  • Une colonne (name) pour identifier un même joueur
  • Données « tidy » :
    • Meilleur pour résumer les données
    • Paires clé-valeur
    • Préféré pour l'analyse et la visualisation
Remanier des données avec pandas

Remodeler les données

  • Transformer la structure d'un DataFrame ou d'une Series pour l'analyse
    • Transposer un DataFrame
fifa_players.set_index('club')

                             name  age  nationality
         club 
    Barcelona        Lionel Messi   32    Argentina
     Juventus   Cristiano Ronaldo  NaN     Portugal
Saint-Germain     Neymar da Silva   27       Brazil
Remanier des données avec pandas

Remodeler les données

  • Transformer la structure d'un DataFrame ou d'une Series pour l'analyse
    • Transposer un DataFrame
fifa_players.set_index('club')[['name', 'nationality']]

                               name   nationality 
         club 
    Barcelona        Lionel Messi       Argentina
     Juventus   Cristiano Ronaldo        Portugal
Saint-Germain     Neymar da Silva          Brazil
Remanier des données avec pandas

Remodeler les données

  • Transformer la structure d'un DataFrame ou d'une Series pour l'analyse
    • Transposer un DataFrame
fifa_players.set_index('club')[['name', 'nationality']].transpose()

       club         Barcelona           Juventus     Saint-Germain
       name      Lionel Messi  Cristiano Ronaldo   Neymar da Silva
nationality         Argentina           Portugal            Brazil
Remanier des données avec pandas

Remodeler les données

  • Convertir des données entre formats wide et long, et inversement
  • Unité d'analyse :
    • Format long -> caractéristique d'un joueur
    • Format wide -> chaque joueur
Remanier des données avec pandas

Conversion de wide vers long

  • Réalisé avec des fonctions pandas comme :

    • .melt()
    • .wide_to_long()
Remanier des données avec pandas

Format long vers wide

  • Transformer les données avec des méthodes pandas, par exemple :

    • .pivot()
    • .pivot_table()
Remanier des données avec pandas

Passons à la pratique !

Remanier des données avec pandas

Preparing Video For Download...