Generování a porovnávání párů

Čištění dat v R

Maggie Matsui

Content Developer @ DataCamp

Kdy joiny nestačí

Co je propojování záznamů?

Vlevo dvě databáze s ikonami košťat označené Data A a Data B

Co je propojování záznamů?

Šipky míří z Data A a Data B ke třem párům osob s popisem Generování párů

Co je propojování záznamů?

Šipka míří od generování párů ke dvěma sloupcům kroužků se šipkami v různých směrech. Popis: porovnání párů.

Co je propojování záznamů?

Šipka míří od porovnání párů k postavě s cedulí s hodnotou .93. Popis: ohodnocení párů.

Co je propojování záznamů?

Šipka od ohodnocení párů k řetězu s popisem propojení dat.

Co je propojování záznamů?

Stejný diagram s modrým rámečkem kolem kroku generování párů

Páry záznamů

Dvě tabulky df_A a df_B se jmény, PSČ a státem. V df_A je zvýrazněn řádek Keaton Z Snyder, PSČ 15020, stát PA. V df_B je zvýrazněn řádek Keaton Snyder, PSČ 15020, stát PA.

Generování párů

Stejné tabulky s čarami propojujícími každý řádek df_A s každým řádkem df_B – všechny kombinace.

Generování párů v R

library(reclin)
pair_blocking(df_A, df_B)

Simple blocking
  No blocking used.
  First data set:  5 records
  Second data set: 5 records
  Total number of pairs: 25 pairs

ldat with 25 rows and 2 columns
   x y
1  1 1
2  2 1
3  3 1
...

Příliš mnoho párů

Stejné tabulky rozšířené o více řádků s ještě více propojovacími čarami.

Blokování

Stejné tabulky – propojeny jsou pouze řádky se shodným státem.

Páry se tvoří pouze tehdy, pokud se shodují v blokovací proměnné (stát)

Blokování párů v R

pair_blocking(df_A, df_B, blocking_var = "state")

Simple blocking                                 ldat with 8 rows and 2 columns
  Blocking variable(s): state                     x y
  First data set:  5 records                    1 1 1
  Second data set: 5 records                    2 1 4
  Total number of pairs: 8 pairs                3 2 3
                                                4 2 5
                                                5 3 2
                                                6 4 2
                                                7 5 1
                                                8 5 4

Porovnávání párů

Diagram kroků propojování záznamů se zvýrazněným krokem porovnání párů.

Porovnávání párů

pair_blocking(df_A, df_B, blocking_var = "state") %>%

  compare_pairs(by = "name", default_comparator = lcs())

Compare                                     ldat with 8 rows and 3 columns            
  By: name                                      x y      name
                                              1 1 1 0.3529412
Simple blocking                               2 1 4 0.3030303
  Blocking variable(s): state                 3 2 3 0.9285714
  First data set:  5 records                  4 2 5 0.2962963    
  Second data set: 5 records                  ...
  Total number of pairs: 8 pairs              8 5 4 0.3333333

Porovnávání více sloupců

pair_blocking(df_A, df_B, blocking_var = "state") %>%
  compare_pairs(by = c("name", "zip"), default_comparator = lcs())

Compare                                    ldat with 8 rows and 4 columns
  By: name, zip                              x y      name zip
                                           1 1 1 0.3529412 0.4
Simple blocking                            2 1 4 0.3030303 0.2
  Blocking variable(s): state              3 2 3 0.9285714 1.0
  First data set:  5 records               4 2 5 0.2962963 0.2
  Second data set: 5 records               ...
  Total number of pairs: 8 pairs           8 5 4 0.3333333 0.2

Různé komparátory

default_comparator = lcs()
default_comparator = jaccard()
default_comparator = jaro_winkler()

Pojďme si procvičit!

Čištění dat v R