Generar y comparar pares

Limpieza de datos en R

Maggie Matsui

Content Developer @ DataCamp

Cuando los joins no sirven

¿Qué es el record linkage?

A la izquierda, dos bases de datos con escobas etiquetadas como Data A y Data B

¿Qué es el record linkage?

Flechas van desde Data A y Data B a tres pares de personas, con la etiqueta Generar pares

¿Qué es el record linkage?

Una flecha va de generar pares a dos columnas de círculos con flechas entre sí en varias direcciones. Descripción: comparar pares.

¿Qué es el record linkage?

Una flecha va de comparar pares a una figura sosteniendo un cartel que dice .93. Etiqueta: puntuar pares.

¿Qué es el record linkage?

Flecha desde puntuar pares hacia una cadena, con la etiqueta enlazar datos.

¿Qué es el record linkage?

Mismo diagrama con un recuadro azul alrededor del paso generar pares

Pares de registros

Dos tablas, df_A y df_B, con nombres, códigos postales y estado. Una fila en df_A está resaltada: Keaton Z Snyder, zip 15020, estado PA. Una fila en df_B está resaltada: Keaton Snyder, zip 15020, estado PA.

Generar pares

Mismas tablas con líneas desde cada fila de df_A a cada fila de df_B para mostrar todas las combinaciones.

Generar pares en R

library(reclin)
pair_blocking(df_A, df_B)

Simple blocking
  No se usa bloqueo.
  Primer conjunto de datos:  5 registros
  Segundo conjunto de datos: 5 registros
  Número total de pares: 25 pares

ldat con 25 filas y 2 columnas
   x y
1  1 1
2  2 1
3  3 1
...

Demasiados pares

Mismas tablas, extendidas hacia abajo con más filas y aún más líneas conectando cada par.

Bloqueo

Mismas tablas, pero solo se conectan con líneas las filas con el mismo estado.

Considera pares solo cuando coincidan en la variable de bloqueo (State)

Bloqueo de pares en R

pair_blocking(df_A, df_B, blocking_var = "state")

Simple blocking                                 ldat con 8 filas y 2 columnas
  Variable(s) de bloqueo: state                   x y
  Primer conjunto de datos:  5 registros        1 1 1
  Segundo conjunto de datos: 5 registros        2 1 4
  Número total de pares: 8 pares                3 2 3
                                                4 2 5
                                                5 3 2
                                                6 4 2
                                                7 5 1
                                                8 5 4

Comparar pares

Diagrama de pasos de record linkage con el paso comparar pares resaltado.

Comparar pares

pair_blocking(df_A, df_B, blocking_var = "state") %>%

  compare_pairs(by = "name", default_comparator = lcs())

Compare                                     ldat con 8 filas y 3 columnas            
  By: name                                      x y      name
                                              1 1 1 0.3529412
Simple blocking                               2 1 4 0.3030303
  Variable(s) de bloqueo: state                 3 2 3 0.9285714
  Primer conjunto de datos:  5 registros          4 2 5 0.2962963    
  Segundo conjunto de datos: 5 registros              ...
  Número total de pares: 8 pares              8 5 4 0.3333333

Comparar varias columnas

pair_blocking(df_A, df_B, blocking_var = "state") %>%
  compare_pairs(by = c("name", "zip"), default_comparator = lcs())

Compare                                    ldat con 8 filas y 4 columnas
  By: name, zip                              x y      name zip
                                           1 1 1 0.3529412 0.4
Simple blocking                            2 1 4 0.3030303 0.2
  Variable(s) de bloqueo: state              3 2 3 0.9285714 1.0
  Primer conjunto de datos:  5 registros       4 2 5 0.2962963 0.2
  Segundo conjunto de datos: 5 registros       ...
  Número total de pares: 8 pares           8 5 4 0.3333333 0.2

Comparadores distintos

default_comparator = lcs()
default_comparator = jaccard()
default_comparator = jaro_winkler()

¡Vamos a practicar!

Limpieza de datos en R