Machine Learning & Spark

Machine Learning with PySpark

Andrew Collier

Data Scientist, Fathom Data

สร้างวาฟเฟิลที่สมบูรณ์แบบ (อุปมาอุปไมย)

วาฟเฟิลชิ้นเดียว

หาสูตรวาฟเฟิล แล้วระบุคำสั่งให้ชัดเจน:

  • แป้ง 125 กรัม
  • ผงฟู 1 ช้อนชา
  • ไข่ 1 ฟอง
  • นม 225 มล.
  • เนยละลาย 1 ช้อนโต๊ะ

วาฟเฟิลหลายชิ้น

หาสูตรวาฟเฟิลหลายๆ สูตร

เรียนรู้สูตรที่ดีที่สุด:

  1. ดูสูตรจำนวนมาก
  2. ใช้ส่วนผสมอะไรบ้าง?
  3. ใช้สัดส่วนเท่าใด?

คอมพิวเตอร์สร้างคำสั่งขึ้นเอง

Machine Learning with PySpark

กราฟแสดงความสัมพันธ์ระหว่างแป้งกับน้ำตาลสำหรับโมเดล Regression และกราฟแสดงเกลือกับน้ำตาลสำหรับปัญหา Classification

Machine Learning with PySpark

ข้อมูลใน RAM

เมื่อข้อมูลมีขนาดเล็ก ปัญหาทั้งหมดสามารถโหลดลงใน RAM ได้

Machine Learning with PySpark

ข้อมูลเกินขนาด RAM

เมื่อข้อมูลใหญ่เกินกว่า RAM จะถูกสลับไปยังดิสก์

Machine Learning with PySpark

ข้อมูลกระจายอยู่บน Cluster

สำหรับข้อมูลขนาดใหญ่มาก การกระจายข้อมูลไปยังหลายเครื่องเป็นทางเลือกที่เหมาะสม

Machine Learning with PySpark

Spark คืออะไร?

โลโก้ Spark

  • ประมวลผลข้ามหลายเครื่องใน cluster แบบกระจาย
  • ประมวลผลข้อมูลในหน่วยความจำ
  • มี API ระดับสูงที่มีเอกสารประกอบครบถ้วน
Machine Learning with PySpark

กลุ่ม Node ใน Cluster

Machine Learning with PySpark

กลุ่ม Node ใน Cluster พร้อม Cluster Manager

Machine Learning with PySpark

กลุ่ม Node ใน Cluster พร้อม Cluster Manager และ Driver

Machine Learning with PySpark

Executor บน Node แต่ละตัวใน Cluster

Machine Learning with PySpark

มาเริ่มกันเลย!

Machine Learning with PySpark

Preparing Video For Download...