Vad är skalbar databehandling?

Skalbar databehandling i R

Michael J. Kane and Simon Urbanek

Instructors, DataCamp

I den här kursen ..

  • Arbeta med data som är för stor för din dator
  • Skriv skalbar kod
  • Importera och bearbeta data i delar
Skalbar databehandling i R

RAM

Alla R-objekt lagras i RAM

Skalbar databehandling i R

Skalbar databehandling i R

Hur stora kan variabler vara?

"R lämpar sig inte för att arbeta med data som är större än 10–20 % av datorns RAM." - The R Installation and Administration Manual

Skalbar databehandling i R

Swapping är ineffektivt

  • Om datorn får slut på RAM flyttas data till disk
  • Eftersom disken är mycket långsammare än RAM ökar körtiden
Skalbar databehandling i R

Skalbara lösningar

  • Flytta en delmängd till RAM
  • Bearbeta delmängden
  • Behåll resultatet och kassera delmängden
Skalbar databehandling i R

Varför är min kod långsam?

  • Beräkningarnas komplexitet

  • Tänk noga på diskoperationer för att skriva snabb, skalbar kod

Skalbar databehandling i R

Prestandamätning

library(microbenchmark)

microbenchmark( rnorm(100), rnorm(10000) )

Unit: microseconds
         expr    min      lq     mean  median      uq     max neval
   rnorm(100)   7.84   8.440   9.5459   8.773   9.355   29.56   100
 rnorm(10000) 679.51 683.706 755.5693 690.876 712.416 2949.03   100
Skalbar databehandling i R

Nu kör vi en övning!

Skalbar databehandling i R

Preparing Video For Download...