Проект Bigmemory

Масштабируемая обработка данных в R

Michael Kane

Assistant Professor, Yale University

bigmemory

bigmemory используется для хранения, обработки и управления большими матрицами, размер которых может превышать объём оперативной памяти

big.matrix

Создание
Получение
Подмножество
Суммаризация

Что означает «out-of-core»?

Объекты R хранятся в оперативной памяти
Когда оперативная память заканчивается
- Данные перемещаются на диск
- Программы продолжают работу (медленно) или аварийно завершаются

Лучше загружать данные в оперативную память только тогда, когда они нужны для обработки.

Когда использовать big.matrix?

20% от объёма оперативной памяти
Плотные матрицы

Обзор bigmemory

bigmemory реализует тип данных big.matrix для создания, хранения, доступа и обработки матриц, расположенных на диске
Данные хранятся на диске и неявно загружаются в оперативную память по мере необходимости

Обзор bigmemory

Объект big.matrix:

Импортируется только один раз
Файл «backing»
Файл «descriptor»

Пример использования bigmemory

library(bigmemory)

# Create a new big.matrix object
x <- big.matrix(nrow = 1, ncol = 3, type = "double", 
                init = 0, 
                backingfile = "hello_big_matrix.bin",
                descriptorfile = "hello_big_matrix.desc")

Файлы backing и descriptor

backing file: бинарное представление матрицы на диске
descriptor file: содержит метаданные — число строк, столбцов, имена и т. д.

Пример использования bigmemory

# See what's in it
 x[,]

  0    0    0

An object of class "big.matrix"
Slot "address":
<pointer: 0x108e2a9a0>

Сходство с матрицами

# Change the value in the first row and column
x[1, 1] <- 3

# Verify the change has been made
x[,]

   3    0    0

Давайте потренируемся!

Масштабируемая обработка данных в R