Що таке масштабована обробка даних?

Масштабована обробка даних в R

Michael J. Kane and Simon Urbanek

Instructors, DataCamp

У цьому курсі…

  • Працюйте з даними, що завеликі для вашого комп'ютера
  • Пишіть масштабований код
  • Імпортуйте й обробляйте дані частинами
Масштабована обробка даних в R

RAM

Усі об'єкти R зберігаються в RAM

Масштабована обробка даних в R

Масштабована обробка даних в R

Наскільки великими можуть бути змінні?

«R не надто підходить для роботи з даними, що перевищують 10–20% RAM комп'ютера.» – The R Installation and Administration Manual

Масштабована обробка даних в R

Перемикання неефективне

  • Якщо RAM закінчується, дані переносяться на диск
  • Оскільки диск значно повільніший за RAM, час виконання зростає
Масштабована обробка даних в R

Масштабовані підходи

  • Перемістіть підмножину в RAM
  • Обробіть підмножину
  • Збережіть результат і відкиньте підмножину
Масштабована обробка даних в R

Чому мій код повільний?

  • Складність обчислень

  • Уважно продумуйте дискові операції, щоб писати швидкий, масштабований код

Масштабована обробка даних в R

Оцінювання продуктивності

library(microbenchmark)

microbenchmark( rnorm(100), rnorm(10000) )

Unit: microseconds
         expr    min      lq     mean  median      uq     max neval
   rnorm(100)   7.84   8.440   9.5459   8.773   9.355   29.56   100
 rnorm(10000) 679.51 683.706 755.5693 690.876 712.416 2949.03   100
Масштабована обробка даних в R

Давайте потренуємось!

Масштабована обробка даних в R

Preparing Video For Download...