머신 러닝과 스파크

PySpark로 하는 Machine Learning

Andrew Collier

Data Scientist, Fathom Data

완벽한 와플 만들기(비유)

와플 한 장.

와플 레시피 찾기. 명확한 지시 제공:

  • 밀가루 125 g
  • 베이킹파우더 1 t
  • 달걀 1개
  • 우유 225 ml
  • 녹인 버터 1 T

와플 여러 장.

와플 레시피 여러 개 찾기.

완벽한 레시피 학습:

  1. 많은 레시피 검토
  2. 재료는?
  3. 비율은?

컴퓨터가 스스로 지시를 생성함.

PySpark로 하는 Machine Learning

회귀 모델의 밀가루 대 설탕 플롯. 분류 문제의 소금 대 설탕 플롯.

PySpark로 하는 Machine Learning

RAM에 있는 데이터

데이터가 작으면 전체 문제를 RAM에 담을 수 있습니다.

PySpark로 하는 Machine Learning

RAM 초과 데이터

데이터가 RAM보다 크면 디스크로 스와핑됩니다.

PySpark로 하는 Machine Learning

클러스터에 분산된 데이터

매우 큰 데이터는 여러 컴퓨터에 분산하는 것이 합리적입니다.

PySpark로 하는 Machine Learning

스파크란?

스파크 로고.

  • 분산 클러스터에서 계산
  • 메모리 내 처리
  • 문서화가 잘 된 고수준 API
PySpark로 하는 Machine Learning

클러스터의 노드 모음.

PySpark로 하는 Machine Learning

클러스터 매니저가 있는 클러스터의 노드 모음.

PySpark로 하는 Machine Learning

클러스터 매니저와 드라이버가 있는 클러스터의 노드 모음.

PySpark로 하는 Machine Learning

클러스터 각 노드의 실행기.

PySpark로 하는 Machine Learning

계속 진행합시다

PySpark로 하는 Machine Learning

Preparing Video For Download...