Integrarea join-urilor în fluxul de lucru data.table
Îmbinarea datelor cu data.table în R
Scott Ritchie
Postdoctoral Researcher in Systems Genomics
Înlănțuirea expresiilor data.table
Expresiile data.table pot fi înlănțuite în secvență:
demographics[...][...]
Forma generală a înlănțuirii unui join:
DT1[DT2, on][i, j, by]
| | | | |
| | | | --> grupat după ce?
| | | -----> ce să se facă?
| | --------> pe ce rânduri?
| ------------> coloanele cheie pentru join
-----------------> join la care data.table?
Join apoi calcul
customers <- data.table(name = c("Mark", "Matt", "Angela", "Michelle"),
gender = c("M", "M", "F", "F"),
age = c(54, 43, 39, 63))
customers
name gender age
1: Mark M 54
2: Matt M 43
3: Angela F 39
4: Michelle F 63
Join apoi calcul
purchases <- data.table(name = c("Mark", "Matt", "Angela", "Michelle"),
sales = c(1, 5, 4, 3),
spent = c(41.70, 41.78, 50.77, 60.01))
purchases
name sales spent
1: Mark 1 41.70
2: Matt 5 41.78
3: Angela 4 50.77
4: Michelle 3 60.01
Join apoi calcul
customers[purchases,
on = .(name)][sales > 1,
j = .(avg_spent = sum(spent) / sum(sales)),
by = .(gender)]
gender avg_spent
1: M 13.91333
2: F 20.00333
Calcul cu join-uri
Calcul cu join-uri:
DT1[DT2, on, j]
| | |
| | ----> ce să se facă pe rezultatul join-ului?
| --------> ce coloane se folosesc ca chei?
-------------> join la care data.table?
Eficient pentru data.table-uri mari!
Join și crearea coloanelor
Crearea coloanelor are loc în data.table-ul principal:
customers[purchases, on = .(name), return_customer := sales > 1]
customers
name gender age return_customer
1: Mark M 54 FALSE
2: Matt M 43 TRUE
3: Angela F 39 TRUE
4: Michelle F 63 TRUE
Grupare după potriviri
by = .EACHI grupează j după fiecare rând din DT2
DT1[DT2, on, j, by = .EACHI]
| | | |
| | | --> grupat după fiecare potrivire în DT1.
| | -----> ce să se facă pe rezultatul join-ului?
| ---------> ce coloane se folosesc ca chei?
--------------> join la care data.table?
Grupare după potriviri
shipping[customers, on = .(name),
j = .("# of shipping addresses" = .N),
by = .EACHI]
Grupare după coloane cu join-uri
Gruparea după coloane în by restricționează calculul la data.table-ul principal:
DT1[DT2, on, j, by]
| | | |
| | | --> grupat după ce coloane din DT1?
| | -----> ce să se facă pe coloanele din DT1?
| ---------> ce coloane se folosesc ca chei?
--------------> join la care data.table?
Grupare după coloane cu join-uri
Join și calcul pe grup în customers:
customers[shipping, on = .(name),
.(avg_age = mean(age)), by = .(gender)]
gender avg_age
1: M 46.66667
2: F 39.00000
Să exersăm!
Îmbinarea datelor cu data.table în R
