PySpark MLlib の概要

PySparkで学ぶBig Data入門

Upendra Devisetty

Science Analyst, CyVerse

PySpark MLlib とは？

機械学習は、データから学習できるアルゴリズムの構築と研究を行う学問分野です
  • MLlib は Apache Spark の機械学習コンポーネントです

  • MLlib が提供する主なツール:

    • ML アルゴリズム: 協調フィルタリング、分類、クラスタリング

    • 特徴量化: 特徴抽出、変換、次元削減、選択

    • パイプライン: ML パイプラインの構築・評価・チューニング用ツール

1 https://en.wikipedia.org/wiki/Machine_learning
PySparkで学ぶBig Data入門

なぜ PySpark MLlib か？

  • scikit-learn はデータマイニングと機械学習のための人気の Python ライブラリ

  • scikit-learn のアルゴリズムは単一マシン上の小規模データにのみ対応

  • Spark の MLlib アルゴリズムはクラスタ上の並列処理向けに設計

  • Scala、Java、R などの言語をサポート

  • 機械学習パイプライン構築のための高水準 API を提供

PySparkで学ぶBig Data入門

PySpark MLlib のアルゴリズム

  • 分類（二値・多クラス）と回帰: 線形 SVM、ロジスティック回帰、決定木、ランダムフォレスト、勾配ブースティング木、ナイーブベイズ、最小二乗、Lasso、リッジ回帰、アイソトニック回帰

  • 協調フィルタリング: 交互最小二乗法（ALS）

  • クラスタリング: K-means、ガウス混合、二分 K-means、ストリーミング K-means

PySparkで学ぶBig Data入門

PySpark MLlib の機械学習 3C

  • 協調フィルタリング（レコメンダエンジン）：推薦を生成

  • 分類：新しい観測が属するカテゴリを判定

  • クラスタリング：類似特性でデータをグループ化

PySparkで学ぶBig Data入門

PySpark MLlib のインポート

  • 協調フィルタリング
from pyspark.mllib.recommendation import ALS
  • 分類
from pyspark.mllib.classification import LogisticRegressionWithLBFGS
  • クラスタリング
from pyspark.mllib.clustering import KMeans
PySparkで学ぶBig Data入門

演習に進みましょう

PySparkで学ぶBig Data入門

Preparing Video For Download...