Machine Learning & Spark

Machine Learning với PySpark

Andrew Collier

Data Scientist, Fathom Data

Làm waffle hoàn hảo (phép so sánh)

Một chiếc bánh waffle.

Tìm công thức waffle. Cho hướng dẫn rõ ràng:

  • 125 g bột mì
  • 1 thìa cà phê bột nở
  • 1 quả trứng
  • 225 ml sữa
  • 1 thìa canh bơ tan chảy

Nhiều chiếc bánh waffle.

Tìm nhiều công thức waffle.

Rút ra công thức hoàn hảo:

  1. Xem nhiều công thức.
  2. Có những nguyên liệu nào?
  3. Tỷ lệ ra sao?

Máy tính tự tạo hướng dẫn của mình.

Machine Learning với PySpark

Biểu đồ bột mì theo đường cho mô hình hồi quy. Biểu đồ muối theo đường cho bài toán phân loại.

Machine Learning với PySpark

Dữ liệu trong RAM

Khi dữ liệu nhỏ, toàn bộ bài toán có thể nằm trong RAM.

Machine Learning với PySpark

Dữ liệu vượt quá RAM

Khi dữ liệu quá lớn cho RAM, hệ thống hoán đổi ra đĩa.

Machine Learning với PySpark

Dữ liệu phân tán trên cụm

Với dữ liệu rất lớn, nên phân tán dữ liệu trên nhiều máy tính.

Machine Learning với PySpark

Spark là gì?

Logo Spark.

  • Tính toán trên cụm phân tán.
  • Xử lý dữ liệu trong bộ nhớ.
  • API cấp cao, tài liệu đầy đủ.
Machine Learning với PySpark

Một tập các nút trong một cụm.

Machine Learning với PySpark

Một tập các nút trong một cụm có bộ quản lý cụm.

Machine Learning với PySpark

Một tập các nút trong một cụm có bộ quản lý cụm và driver.

Machine Learning với PySpark

Executor trên mỗi nút trong cụm.

Machine Learning với PySpark

Tiếp tục!

Machine Learning với PySpark

Preparing Video For Download...