機械学習とSpark

Machine Learning with PySpark

Andrew Collier

Data Scientist, Fathom Data

完璧なワッフル作り（例え）

ワッフル1枚。

ワッフルのレシピを探す。明確な手順を出す:

薄力粉 125 g
ベーキングパウダー小さじ1
卵 1個
牛乳 225 ml
溶かしバター大さじ1

たくさんのワッフル。

多数のワッフルレシピを集める。

最適なレシピを学ぶ:

多くのレシピを確認
材料は何か
比率はどうか

コンピューターが自分で手順を作成。

回帰では小麦粉と砂糖の関係、分類では塩と砂糖の関係を示すプロット。

RAM内のデータ

データが小さければ問題全体がRAMに収まる。

RAM超過のデータ

データがRAMを超えるとディスクにスワップされる。

クラスターへのデータ分散

非常に大規模なデータは複数のコンピューターに分散すると効率的です。

Sparkとは？

分散クラスターで計算
データをメモリ内で処理
充実した高水準API

クラスター内のノード群。

クラスター内のノード群とクラスター・マネージャ。

クラスター内のノード群、クラスター・マネージャ、ドライバー。

各ノード上のエグゼキューター。

次へ

Machine Learning with PySpark

Preparing Video For Download...