Machine Learning 與 Spark

使用 PySpark 的機器學習

Andrew Collier

Data Scientist, Fathom Data

打造完美鬆餅（類比）

一塊鬆餅。

找一份鬆餅食譜。給出明確步驟：

  • 125 g 麵粉
  • 1 t 泡打粉
  • 1 顆蛋
  • 225 ml 牛奶
  • 1 T 融化奶油

多塊鬆餅。

找許多鬆餅食譜。

學會最完美的配方：

  1. 看很多食譜。
  2. 有哪些食材？
  3. 比例如何？

電腦自行產生指示。

使用 PySpark 的機器學習

針對迴歸模型的麵粉對糖關係圖。針對分類問題的鹽對糖關係圖。

使用 PySpark 的機器學習

資料在 RAM 中

資料量小時，整個問題都能放進 RAM。

使用 PySpark 的機器學習

資料超出 RAM

資料超過 RAM 時，會換頁到磁碟。

使用 PySpark 的機器學習

資料分散於叢集

資料極大時，將資料分散到多部電腦更合理。

使用 PySpark 的機器學習

什麼是 Spark？

Spark 標誌。

  • 在分散式 cluster 上運算。
  • 在記憶體中處理資料。
  • 完整且高層的 API 文件。
使用 PySpark 的機器學習

叢集中的多個節點。

使用 PySpark 的機器學習

含叢集管理器的叢集節點。

使用 PySpark 的機器學習

含叢集管理器與 driver 的叢集節點。

使用 PySpark 的機器學習

每個節點上的 executors。

使用 PySpark 的機器學習

前進吧！

使用 PySpark 的機器學習

Preparing Video For Download...