机器学习与 Spark

使用 PySpark 进行机器学习

Andrew Collier

Data Scientist, Fathom Data

打造完美华夫饼（类比）

一个华夫饼。

查找华夫饼配方。给出明确步骤：

  • 面粉 125 g
  • 泡打粉 1 t
  • 鸡蛋 1 个
  • 牛奶 225 ml
  • 黄油（融化）1 T

一堆华夫饼。

查找许多华夫饼配方。

学习完美配方：

  1. 看大量配方。
  2. 有哪些食材？
  3. 比例如何？

计算机生成自己的步骤。

使用 PySpark 进行机器学习

回归模型中的面粉与糖散点图。分类问题中的盐与糖散点图。

使用 PySpark 进行机器学习

数据驻留内存

当数据很小时，整个问题可放入内存（RAM）。

使用 PySpark 进行机器学习

数据超出内存

当数据大于内存时，会换出到磁盘。

使用 PySpark 进行机器学习

跨集群分布数据

对于超大数据，将其分布到多台计算机更合理。

使用 PySpark 进行机器学习

什么是 Spark？

Spark 标志。

  • 在分布式集群上计算。
  • 内存中处理数据。
  • 文档完善的高级API。
使用 PySpark 进行机器学习

集群中的一组节点。

使用 PySpark 进行机器学习

带有集群管理器的集群节点。

使用 PySpark 进行机器学习

带有集群管理器和驱动程序的集群节点。

使用 PySpark 进行机器学习

集群中每个节点上的执行器。

使用 PySpark 进行机器学习

继续前进！

使用 PySpark 进行机器学习

Preparing Video For Download...