Поздравляем!

Масштабируемая обработка данных в R

Michael J. Kane and Simon Urbanek

Instructors, DataCamp

Разделить — применить — объединить

  • Разбить данные на части
  • Выполнить вычисления над частями
  • Объединить результаты
Масштабируемая обработка данных в R

Разделить — применить — объединить: преимущества

  • Небольшие части не перегружают память
  • Подход легко распараллелить
  • Обработка в последовательном режиме
  • Обработка на нескольких машинах в кластере
Масштабируемая обработка данных в R

Разделить — применить — объединить: R

  • split() разбивает набор индексов строк или data.frame

  • Map() выполняет вычисления над частями

  • Reduce() объединяет результаты

Масштабируемая обработка данных в R

bigmemory

bigmemory

  • Подходит для больших наборов данных в виде плотных матриц, которые могут не помещаться в RAM
  • Работает как обычная матрица R
Масштабируемая обработка данных в R

iotools

iotools

  • Подходит для очень больших данных, обрабатываемых последовательными фрагментами
  • Поддерживает data.frame и matrix
Масштабируемая обработка данных в R

Масштабируемая обработка данных в R

Удачи!

Масштабируемая обработка данных в R

Preparing Video For Download...