Створення та порівняння пар

Очищення даних в R

Maggie Matsui

Content Developer @ DataCamp

Коли з'єднання не працюють

Що таке record linkage?

Ліворуч дві бази даних із мітелками з підписами Data A та Data B

Що таке record linkage?

Стрілки від Data A та Data B до трьох пар людей з підписом Generate pairs

Що таке record linkage?

Стрілка від generate pairs до двох колонок кіл зі стрілками одне до одного в різних напрямках. Опис: compare pairs.

Що таке record linkage?

Стрілка від compare pairs до фігури людини з табличкою .93. Підпис: score pairs.

Що таке record linkage?

Стрілка від score pairs до ланцюга з підписом link data.

Що таке record linkage?

Та сама діаграма із синім прямокутником навколо кроку generate pairs

Пари записів

Дві таблиці, df_A і df_B, з іменами людей, їхніми ZIP-кодами та штатами. У df_A підсвічено рядок Keaton Z Snyder, zip 15020, state PA. У df_B підсвічено Keaton Snyder, zip 15020, state PA.

Генерування пар

Ті самі таблиці з лініями від кожного рядка df_A до кожного рядка df_B — усі комбінації.

Генерування пар в R

library(reclin)
pair_blocking(df_A, df_B)

Simple blocking
  No blocking used.
  First data set:  5 records
  Second data set: 5 records
  Total number of pairs: 25 pairs

ldat with 25 rows and 2 columns
   x y
1  1 1
2  2 1
3  3 1
...

Занадто багато пар

Ті самі таблиці подовжені донизу з більшою кількістю рядків і ще більшою кількістю ліній між кожною парою.

Блокування

Ті самі таблиці, але лініями з'єднано лише рядки з однаковим штатом.

Розглядати пари лише коли збігається блокувальна змінна (State)

Блокування пар в R

pair_blocking(df_A, df_B, blocking_var = "state")

Simple blocking                                 ldat with 8 rows and 2 columns
  Blocking variable(s): state                     x y
  First data set:  5 records                    1 1 1
  Second data set: 5 records                    2 1 4
  Total number of pairs: 8 pairs                3 2 3
                                                4 2 5
                                                5 3 2
                                                6 4 2
                                                7 5 1
                                                8 5 4

Порівняння пар

Діаграма кроків record linkage з підсвіченим кроком compare pairs.

Порівняння пар

pair_blocking(df_A, df_B, blocking_var = "state") %>%

  compare_pairs(by = "name", default_comparator = lcs())

Compare                                     ldat with 8 rows and 3 columns            
  By: name                                      x y      name
                                              1 1 1 0.3529412
Simple blocking                               2 1 4 0.3030303
  Blocking variable(s): state                 3 2 3 0.9285714
  First data set:  5 records                  4 2 5 0.2962963    
  Second data set: 5 records                  ...
  Total number of pairs: 8 pairs              8 5 4 0.3333333

Порівняння кількох стовпців

pair_blocking(df_A, df_B, blocking_var = "state") %>%
  compare_pairs(by = c("name", "zip"), default_comparator = lcs())

Compare                                    ldat with 8 rows and 4 columns
  By: name, zip                              x y      name zip
                                           1 1 1 0.3529412 0.4
Simple blocking                            2 1 4 0.3030303 0.2
  Blocking variable(s): state              3 2 3 0.9285714 1.0
  First data set:  5 records               4 2 5 0.2962963 0.2
  Second data set: 5 records               ...
  Total number of pairs: 8 pairs           8 5 4 0.3333333 0.2

Різні компаратори

default_comparator = lcs()
default_comparator = jaccard()
default_comparator = jaro_winkler()

Давайте потренуємось!

Очищення даних в R