Generowanie i porównywanie par

Czyszczenie danych w R

Maggie Matsui

Content Developer @ DataCamp

Kiedy złączenia nie działają

Czym jest łączenie rekordów?

Po lewej: dwie bazy danych z miotłami, oznaczone Dane A i Dane B

Czym jest łączenie rekordów?

Strzałki od Danych A i Danych B do trzech par osób, etykieta: Generuj pary

Czym jest łączenie rekordów?

Strzałka od generowania par do dwóch kolumn kółek ze strzałkami wskazującymi na siebie w różnych kierunkach. Opis: porównaj pary.

Czym jest łączenie rekordów?

Strzałka od porównywania par do postaci osoby trzymającej tabliczkę z napisem .93. Etykieta: ocenianie par.

Czym jest łączenie rekordów?

Strzałka od oceniania par do łańcucha z etykietą: łączenie danych.

Czym jest łączenie rekordów?

Ten sam diagram z niebieskim prostokątem wokół kroku generowania par

Pary rekordów

Dwie tabele, df_A i df_B, zawierające imiona i nazwiska, kody pocztowe oraz stany. W df_A zaznaczony wiersz: Keaton Z Snyder, zip 15020, stan PA. W df_B zaznaczony wiersz: Keaton Snyder, zip 15020, stan PA.

Generowanie par

Te same tabele z liniami łączącymi każdy wiersz df_A z każdym wierszem df_B – wszystkie kombinacje.

Generowanie par w R

library(reclin)
pair_blocking(df_A, df_B)

Simple blocking
  No blocking used.
  First data set:  5 records
  Second data set: 5 records
  Total number of pairs: 25 pairs

ldat with 25 rows and 2 columns
   x y
1  1 1
2  2 1
3  3 1
...

Zbyt wiele par

Te same tabele rozszerzone o więcej wierszy, z jeszcze większą liczbą linii łączących pary.

Blokowanie

Te same tabele, ale liniami połączone są tylko wiersze o tym samym stanie.

Uwzględniane są tylko pary zgodne co do zmiennej blokującej (Stan)

Blokowanie par w R

pair_blocking(df_A, df_B, blocking_var = "state")

Simple blocking                                 ldat with 8 rows and 2 columns
  Blocking variable(s): state                     x y
  First data set:  5 records                    1 1 1
  Second data set: 5 records                    2 1 4
  Total number of pairs: 8 pairs                3 2 3
                                                4 2 5
                                                5 3 2
                                                6 4 2
                                                7 5 1
                                                8 5 4

Porównywanie par

Diagram kroków łączenia rekordów z wyróżnionym krokiem porównywania par.

Porównywanie par

pair_blocking(df_A, df_B, blocking_var = "state") %>%

  compare_pairs(by = "name", default_comparator = lcs())

Compare                                     ldat with 8 rows and 3 columns            
  By: name                                      x y      name
                                              1 1 1 0.3529412
Simple blocking                               2 1 4 0.3030303
  Blocking variable(s): state                 3 2 3 0.9285714
  First data set:  5 records                  4 2 5 0.2962963    
  Second data set: 5 records                  ...
  Total number of pairs: 8 pairs              8 5 4 0.3333333

Porównywanie wielu kolumn

pair_blocking(df_A, df_B, blocking_var = "state") %>%
  compare_pairs(by = c("name", "zip"), default_comparator = lcs())

Compare                                    ldat with 8 rows and 4 columns
  By: name, zip                              x y      name zip
                                           1 1 1 0.3529412 0.4
Simple blocking                            2 1 4 0.3030303 0.2
  Blocking variable(s): state              3 2 3 0.9285714 1.0
  First data set:  5 records               4 2 5 0.2962963 0.2
  Second data set: 5 records               ...
  Total number of pairs: 8 pairs           8 5 4 0.3333333 0.2

Różne komparatory

default_comparator = lcs()
default_comparator = jaccard()
default_comparator = jaro_winkler()

Czas na ćwiczenia!

Czyszczenie danych w R