Grattis!

Skalbar databehandling i R

Michael J. Kane and Simon Urbanek

Instructors, DataCamp

Dela-Tillämpa-Kombinera

  • Dela upp data i delar
  • Beräkna på delarna
  • Kombinera resultaten
Skalbar databehandling i R

Dela-Tillämpa-Kombinera: Fördelar

  • Hanterbara delar belastar inte datorn
  • Enkelt att parallellisera
  • Bearbeta sekventiellt
  • Bearbeta på flera maskiner i ett kluster
Skalbar databehandling i R

Dela-Tillämpa-Kombinera: R

  • split() partitionerar radnummer eller data.frame

  • Map() beräknar på delarna

  • Reduce() kombinerar resultaten

Skalbar databehandling i R

bigmemory

bigmemory

  • Lämpligt för större datamängder som kan representeras som täta matriser och kan vara för stora för RAM
  • Fungerar som en vanlig R-matris
Skalbar databehandling i R

iotools

iotools

  • Lämpligt för mycket större data som kan bearbetas i sekventiella block
  • Stöder data.frame och matrix
Skalbar databehandling i R

Skalbar databehandling i R

Lycka till!

Skalbar databehandling i R

Preparing Video For Download...