Generera och jämföra par

Datarensning i R

Maggie Matsui

Content Developer @ DataCamp

När joinar inte fungerar

Vad är postlänkning?

Till vänster: två databaser med kvastar märkta Data A och Data B

Vad är postlänkning?

Pilar pekar från Data A och Data B mot tre par av personer, märkta Generera par

Vad är postlänkning?

En pil pekar från generera par till två kolumner med cirklar och pilar som pekar mot varandra i olika riktningar. Beskrivningen är jämför par.

Vad är postlänkning?

En pil pekar från jämför par till en figur av en person som håller upp ett skylt med .93. Märkt poängsätt par.

Vad är postlänkning?

En pil från poängsätt par till en kedja, märkt länka data.

Vad är postlänkning?

Samma diagram med en blå ruta runt steget generera par

Par av poster

Två tabeller, df_A och df_B, med namn, postnummer och delstat. En rad i df_A är markerad för Keaton Z Snyder, postnummer 15020, delstat PA. En rad i df_B är markerad för Keaton Snyder, postnummer 15020, delstat PA.

Generera par

Samma tabeller med linjer från varje rad i df_A till varje rad i df_B för att visa alla kombinationer.

Generera par i R

library(reclin)
pair_blocking(df_A, df_B)

Simple blocking
  No blocking used.
  First data set:  5 records
  Second data set: 5 records
  Total number of pairs: 25 pairs

ldat with 25 rows and 2 columns
   x y
1  1 1
2  2 1
3  3 1
...

För många par

Samma tabeller utökade nedåt med fler rader och ännu fler linjer som förbinder varje par.

Blockering

Samma tabeller, men enbart rader med samma delstat är förbundna med linjer.

Jämför bara par som stämmer överens på blockeringsvariabeln (delstat)

Parblockering i R

pair_blocking(df_A, df_B, blocking_var = "state")

Simple blocking                                 ldat with 8 rows and 2 columns
  Blocking variable(s): state                     x y
  First data set:  5 records                    1 1 1
  Second data set: 5 records                    2 1 4
  Total number of pairs: 8 pairs                3 2 3
                                                4 2 5
                                                5 3 2
                                                6 4 2
                                                7 5 1
                                                8 5 4

Jämföra par

Diagram över postlänkningssteg med steget jämför par markerat.

Jämföra par

pair_blocking(df_A, df_B, blocking_var = "state") %>%

  compare_pairs(by = "name", default_comparator = lcs())

Compare                                     ldat with 8 rows and 3 columns            
  By: name                                      x y      name
                                              1 1 1 0.3529412
Simple blocking                               2 1 4 0.3030303
  Blocking variable(s): state                 3 2 3 0.9285714
  First data set:  5 records                  4 2 5 0.2962963    
  Second data set: 5 records                  ...
  Total number of pairs: 8 pairs              8 5 4 0.3333333

Jämföra flera kolumner

pair_blocking(df_A, df_B, blocking_var = "state") %>%
  compare_pairs(by = c("name", "zip"), default_comparator = lcs())

Compare                                    ldat with 8 rows and 4 columns
  By: name, zip                              x y      name zip
                                           1 1 1 0.3529412 0.4
Simple blocking                            2 1 4 0.3030303 0.2
  Blocking variable(s): state              3 2 3 0.9285714 1.0
  First data set:  5 records               4 2 5 0.2962963 0.2
  Second data set: 5 records               ...
  Total number of pairs: 8 pairs           8 5 4 0.3333333 0.2

Olika jämförelseoperatorer

default_comparator = lcs()
default_comparator = jaccard()
default_comparator = jaro_winkler()

Nu kör vi en övning!

Datarensning i R