Быстрая запись данных с fwrite()

Работа с данными с помощью data.table в R

Matt Dowle, Arun Srinivasan

Instructors, DataCamp

fwrite

Возможность записи столбцов типа list с использованием вторичного разделителя (|)

dt <- data.table(id = c("x", "y", "z"), val = list(1:2, 3:4, 5:6))
fwrite(dt, "fwrite.csv")
fread("fwrite.csv")
id  val
 x  1|2
 y  3|4
 z  5|6
Работа с данными с помощью data.table в R

Столбцы даты и даты-времени (ISO)

  • fwrite() поддерживает три формата записи даты и даты-времени: ISO, squash и epoch
  • По умолчанию используется стандарт ISO
Работа с данными с помощью data.table в R

Дата и время

now <- Sys.time()
dt  <- data.table(date = as.IDate(now), 
                  time = as.ITime(now), 
                  datetime = now)
dt
      date     time              datetime
2018-12-17 19:54:51   2018-12-17 14:54:51
Работа с данными с помощью data.table в R

Столбцы даты и даты-времени (ISO)

# "ISO" is default
fwrite(dt, "datetime.csv", dateTimeAs = "ISO")

fread("datetime.csv")
      date       time                      datetime
2018-12-17   19:55:39   2018-12-17T19:55:39.735036Z
Работа с данными с помощью data.table в R

Столбцы даты и даты-времени (Squash)

  • squash записывает yyyy-mm-dd hh:mm:ss как yyyymmddhhmmss
  • Считывается как целое число. Удобно для извлечения месяца, года и т. д. с помощью целочисленного деления: например, 20160912 %/% 10000 = 2016
  • Поддерживает разрешение до миллисекунд (мс)
  • Тип POSIXct (17 цифр при разрешении до мс) автоматически считывается fread как integer64
Работа с данными с помощью data.table в R

Столбцы даты и даты-времени (Squash)

fwrite(dt, "datetime.csv", dateTimeAs = "squash")

fread("datetime.csv")

       date   time          datetime
1: 20181217 195539 20181217195539735
20181217 %/% 10000 
[1] 2018
Работа с данными с помощью data.table в R

Столбцы даты и даты-времени (Epoch)

  • epoch считает количество days (для дат) или секунд (для времени и даты-времени) начиная с соответствующей эпохи
  • Для date, time и datetime эпоха соответствует 1970-01-01, 00:00:00 и 1970-01-01T00:00:00Z соответственно
Работа с данными с помощью data.table в R

Столбцы даты и даты-времени (Epoch)

fwrite(dt, "datetime.csv", dateTimeAs = "epoch")
fread("datetime.csv")
 date  time   datetime
17882 71871 1545076672
Работа с данными с помощью data.table в R

Давайте потренируемся!

Работа с данными с помощью data.table в R

Preparing Video For Download...