Membuat dan membandingkan pasangan

Membersihkan Data di R

Maggie Matsui

Content Developer @ DataCamp

Saat join tidak berhasil

Apa itu record linkage?

Di kiri, dua basis data dengan sapu bertanda Data A dan Data B

Apa itu record linkage?

Panah dari Data A dan Data B ke tiga pasangan orang, berlabel Generate pairs

Apa itu record linkage?

Panah dari generate pairs ke dua kolom lingkaran dengan panah saling menunjuk. Deskripsi: bandingkan pasangan.

Apa itu record linkage?

Panah dari compare pairs ke gambar orang memegang papan bertuliskan .93. Berlabel score pairs.

Apa itu record linkage?

Panah dari score pairs ke rantai, berlabel tautkan data.

Apa itu record linkage?

Diagram yang sama dengan kotak biru di sekitar langkah generate pairs

Pasangan rekaman

Dua tabel, df_A dan df_B masing-masing berisi nama, kode pos, dan state. Satu baris di df_A disorot untuk Keaton Z Snyder, zip 15020, state PA. Satu baris di df_B disorot untuk Keaton Snyder, zip 15020, state PA.

Membuat pasangan

Tabel yang sama dengan garis dari tiap baris di df_A ke tiap baris di df_B untuk menunjukkan semua kombinasi.

Membuat pasangan di R

library(reclin)
pair_blocking(df_A, df_B)

Simple blocking
  No blocking used.
  First data set:  5 records
  Second data set: 5 records
  Total number of pairs: 25 pairs

ldat with 25 rows and 2 columns
   x y
1  1 1
2  2 1
3  3 1
...

Terlalu banyak pasangan

Tabel yang sama diperpanjang ke bawah dengan lebih banyak baris, dengan lebih banyak garis menghubungkan tiap pasangan.

Blocking

Tabel yang sama, tetapi hanya baris dengan state yang sama yang dihubungkan.

Hanya pertimbangkan pasangan yang sama pada variabel blocking (State)

Pair blocking di R

pair_blocking(df_A, df_B, blocking_var = "state")

Simple blocking                                 ldat with 8 rows and 2 columns
  Blocking variable(s): state                     x y
  First data set:  5 records                    1 1 1
  Second data set: 5 records                    2 1 4
  Total number of pairs: 8 pairs                3 2 3
                                                4 2 5
                                                5 3 2
                                                6 4 2
                                                7 5 1
                                                8 5 4

Membandingkan pasangan

Diagram langkah record linkage dengan langkah compare pairs disorot.

Membandingkan pasangan

pair_blocking(df_A, df_B, blocking_var = "state") %>%

  compare_pairs(by = "name", default_comparator = lcs())

Compare                                     ldat with 8 rows and 3 columns            
  By: name                                      x y      name
                                              1 1 1 0.3529412
Simple blocking                               2 1 4 0.3030303
  Blocking variable(s): state                 3 2 3 0.9285714
  First data set:  5 records                  4 2 5 0.2962963    
  Second data set: 5 records                  ...
  Total number of pairs: 8 pairs              8 5 4 0.3333333

Membandingkan beberapa kolom

pair_blocking(df_A, df_B, blocking_var = "state") %>%
  compare_pairs(by = c("name", "zip"), default_comparator = lcs())

Compare                                    ldat with 8 rows and 4 columns
  By: name, zip                              x y      name zip
                                           1 1 1 0.3529412 0.4
Simple blocking                            2 1 4 0.3030303 0.2
  Blocking variable(s): state              3 2 3 0.9285714 1.0
  First data set:  5 records               4 2 5 0.2962963 0.2
  Second data set: 5 records               ...
  Total number of pairs: 8 pairs           8 5 4 0.3333333 0.2

Pembanding berbeda

default_comparator = lcs()
default_comparator = jaccard()
default_comparator = jaro_winkler()

Ayo berlatih!

Membersihkan Data di R