Szybki zapis danych z fwrite()

Manipulacja danymi z data.table w R

Matt Dowle, Arun Srinivasan

Instructors, DataCamp

fwrite

Możliwość zapisu kolumn list z użyciem separatora pomocniczego (|)

dt <- data.table(id = c("x", "y", "z"), val = list(1:2, 3:4, 5:6))
fwrite(dt, "fwrite.csv")
fread("fwrite.csv")
id  val
 x  1|2
 y  3|4
 z  5|6
Manipulacja danymi z data.table w R

Kolumny date i datetime (ISO)

  • fwrite() oferuje trzy dodatkowe sposoby zapisu dat i czasu: ISO, squash i epoch
  • Zaleca stosowanie standardów ISO — domyślnie używany jest format ISO
Manipulacja danymi z data.table w R

Daty i czasy

now <- Sys.time()
dt  <- data.table(date = as.IDate(now), 
                  time = as.ITime(now), 
                  datetime = now)
dt
      date     time              datetime
2018-12-17 19:54:51   2018-12-17 14:54:51
Manipulacja danymi z data.table w R

Kolumny date i datetime (ISO)

# "ISO" is default
fwrite(dt, "datetime.csv", dateTimeAs = "ISO")

fread("datetime.csv")
      date       time                      datetime
2018-12-17   19:55:39   2018-12-17T19:55:39.735036Z
Manipulacja danymi z data.table w R

Kolumny date i datetime (Squash)

  • squash zapisuje yyyy-mm-dd hh:mm:ss jako yyyymmddhhmmss
  • Odczytywany jako liczba całkowita. Umożliwia łatwe wyodrębnianie miesiąca, roku itp. za pomocą arytmetyki modulo, np. 20160912 %/% 10000 = 2016
  • Obsługuje również rozdzielczość milisekund (ms)
  • Typ POSIXct (17 cyfr z rozdzielczością ms) jest automatycznie wczytywany przez fread jako integer64
Manipulacja danymi z data.table w R

Kolumny date i datetime (Squash)

fwrite(dt, "datetime.csv", dateTimeAs = "squash")

fread("datetime.csv")

       date   time          datetime
1: 20181217 195539 20181217195539735
20181217 %/% 10000 
[1] 2018
Manipulacja danymi z data.table w R

Kolumny date i datetime (Epoch)

  • epoch zlicza liczbę days (dla dat) lub sekund (dla czasu i datetime) od odpowiedniej epoki
  • Odpowiednia epoka to 1970-01-01, 00:00:00 i 1970-01-01T00:00:00Z odpowiednio dla date, time i datetime
Manipulacja danymi z data.table w R

Kolumny date i datetime (Epoch)

fwrite(dt, "datetime.csv", dateTimeAs = "epoch")
fread("datetime.csv")
 date  time   datetime
17882 71871 1545076672
Manipulacja danymi z data.table w R

Czas na ćwiczenia!

Manipulacja danymi z data.table w R

Preparing Video For Download...