Gratulacje!

Skalowalne przetwarzanie danych w R

Michael J. Kane and Simon Urbanek

Instructors, DataCamp

Podział-Zastosowanie-Łączenie

  • Podział danych na części
  • Obliczenia na częściach
  • Łączenie wyników
Skalowalne przetwarzanie danych w R

Podział-Zastosowanie-Łączenie: Zalety

  • Mniejsze części nie przeciążają komputera
  • Podejście łatwe do zrównoleglenia
  • Przetwarzanie sekwencyjne
  • Przetwarzanie na wielu maszynach w klastrze
Skalowalne przetwarzanie danych w R

Podział-Zastosowanie-Łączenie: R

  • split() dzieli zbiór numerów wierszy lub data.frame

  • Map() wykonuje obliczenia na częściach

  • Reduce() łączy wyniki

Skalowalne przetwarzanie danych w R

bigmemory

bigmemory

  • Odpowiedni dla większych zbiorów danych reprezentowanych jako gęste macierze, które mogą nie mieścić się w RAM
  • Wygląda jak zwykła macierz R
Skalowalne przetwarzanie danych w R

iotools

iotools

  • Odpowiedni dla bardzo dużych danych przetwarzanych sekwencyjnymi fragmentami
  • Obsługuje data.frame i matrix
Skalowalne przetwarzanie danych w R

Skalowalne przetwarzanie danych w R

Powodzenia!

Skalowalne przetwarzanie danych w R

Preparing Video For Download...