Générer et comparer des paires

Nettoyer des données avec R

Maggie Matsui

Content Developer @ DataCamp

Quand les jointures ne suffisent pas

Qu'est-ce que le record linkage ?

À gauche, deux bases avec des balais, intitulées Data A et Data B

Qu'est-ce que le record linkage ?

Des flèches vont de Data A et Data B vers trois paires de personnes, intitulé Générer des paires

Qu'est-ce que le record linkage ?

Une flèche va de générer des paires vers deux colonnes de cercles avec des flèches entre eux dans divers sens. Description : comparer les paires.

Qu'est-ce que le record linkage ?

Une flèche va de comparer les paires vers une personne tenant une pancarte « .93 ». Intitulé : scorer les paires.

Qu'est-ce que le record linkage ?

Flèche de scorer les paires vers une chaîne, intitulé lier les données.

Qu'est-ce que le record linkage ?

Même schéma avec un encadré bleu autour de l'étape générer des paires

Paires d'enregistrements

Deux tables, df_A et df_B, contenant des noms, codes postaux et États. Une ligne est surlignée dans df_A pour Keaton Z Snyder, zip 15020, État PA. Une ligne est surlignée dans df_B pour Keaton Snyder, zip 15020, État PA.

Générer des paires

Mêmes tables avec des lignes reliant chaque ligne de df_A à chaque ligne de df_B, toutes combinaisons.

Générer des paires en R

library(reclin)
pair_blocking(df_A, df_B)

Simple blocking
  No blocking used.
  First data set:  5 records
  Second data set: 5 records
  Total number of pairs: 25 pairs

ldat with 25 rows and 2 columns
   x y
1  1 1
2  2 1
3  3 1
...

Trop de paires

Mêmes tables allongées avec davantage de lignes, et encore plus de connexions entre chaque paire.

Blocage

Mêmes tables, mais seules les lignes avec le même État sont reliées.

Ne considérer que les paires qui concordent sur la variable de blocage (State)

Blocage des paires en R

pair_blocking(df_A, df_B, blocking_var = "state")

Simple blocking                                 ldat with 8 rows and 2 columns
  Blocking variable(s): state                     x y
  First data set:  5 records                    1 1 1
  Second data set: 5 records                    2 1 4
  Total number of pairs: 8 pairs                3 2 3
                                                4 2 5
                                                5 3 2
                                                6 4 2
                                                7 5 1
                                                8 5 4

Comparer des paires

Schéma des étapes de record linkage avec l'étape comparer les paires mise en évidence.

Comparer des paires

pair_blocking(df_A, df_B, blocking_var = "state") %>%

  compare_pairs(by = "name", default_comparator = lcs())

Compare                                     ldat with 8 rows and 3 columns            
  By: name                                      x y      name
                                              1 1 1 0.3529412
Simple blocking                               2 1 4 0.3030303
  Blocking variable(s): state                 3 2 3 0.9285714
  First data set:  5 records                  4 2 5 0.2962963    
  Second data set: 5 records                  ...
  Total number of pairs: 8 pairs              8 5 4 0.3333333

Comparer plusieurs colonnes

pair_blocking(df_A, df_B, blocking_var = "state") %>%
  compare_pairs(by = c("name", "zip"), default_comparator = lcs())

Compare                                    ldat with 8 rows and 4 columns
  By: name, zip                              x y      name zip
                                           1 1 1 0.3529412 0.4
Simple blocking                            2 1 4 0.3030303 0.2
  Blocking variable(s): state              3 2 3 0.9285714 1.0
  First data set:  5 records               4 2 5 0.2962963 0.2
  Second data set: 5 records               ...
  Total number of pairs: 8 pairs           8 5 4 0.3333333 0.2

Comparateurs différents

default_comparator = lcs()
default_comparator = jaccard()
default_comparator = jaro_winkler()

Passons à la pratique !

Nettoyer des données avec R