축하합니다!

R에서 확장 가능한 데이터 처리

Michael J. Kane and Simon Urbanek

Instructors, DataCamp

분할-적용-결합

• 데이터를 부분으로 나누기
• 각 부분에 연산 적용
• 결과 합치기

분할-적용-결합: 장점

• 작은 단위로 나누어 컴퓨터 부하 감소
• 병렬화가 용이한 방식
• 순차적 처리 가능
• 클러스터의 여러 머신에서 처리 가능

분할-적용-결합: R

• split()으로 행 번호 또는 data.frame 분할

• Map()으로 각 부분에 연산 적용

• Reduce()로 결과 결합

bigmemory

bigmemory

• RAM을 초과할 수 있는 대형 데이터를 밀집 행렬로 처리하는 데 적합
• 일반 R 행렬과 동일한 방식으로 사용

iotools

iotools

• 순차적 청크로 처리 가능한 대용량 데이터에 적합
• data.frame 및 matrix 지원

좋은 결과 있으시길 바랍니다!

R에서 확장 가능한 데이터 처리