Makine Öğrenimi ve Spark

PySpark ile Machine Learning

Andrew Collier

Data Scientist, Fathom Data

Mükemmel waffle’ı yapmak (benzetme)

Tek bir waffle.

Waffle tarifi bulun. Açık talimat verin:

  • 125 g un
  • 1 çay kaşığı kabartma tozu
  • 1 yumurta
  • 225 ml süt
  • 1 yemek kaşığı eritilmiş tereyağı

Birçok waffle.

Birçok waffle tarifi bulun.

Mükemmel tarifi öğrenin:

  1. Çok sayıda tarife bakın.
  2. Hangi malzemeler?
  3. Oranlar nedir?

Bilgisayar kendi talimatlarını üretir.

PySpark ile Machine Learning

Bir regresyon modeli için un ve şekeri gösteren grafik. Bir sınıflandırma problemi için tuz ve şekeri gösteren grafik.

PySpark ile Machine Learning

Veri RAM’de

Veri küçükse tüm sorun RAM’e sığar.

PySpark ile Machine Learning

Veri RAM’i aşıyor

Veri RAM’i aştığında disk’e takas edilir.

PySpark ile Machine Learning

Kümede dağıtılmış veri

Çok büyük veriler için veriyi birden çok bilgisayara dağıtmak mantıklıdır.

PySpark ile Machine Learning

Spark nedir?

Spark logosu.

  • Dağıtık bir kümede hesaplama.
  • Veri bellek içinde işlenir.
  • İyi belgelenmiş, yüksek seviyeli bir API.
PySpark ile Machine Learning

Bir kümedeki düğüm koleksiyonu.

PySpark ile Machine Learning

Kümede bir küme yöneticisiyle birlikte düğüm koleksiyonu.

PySpark ile Machine Learning

Kümede bir küme yöneticisi ve sürücü ile birlikte düğüm koleksiyonu.

PySpark ile Machine Learning

Kümedeki her düğümde yürütücüler.

PySpark ile Machine Learning

Devam!

PySpark ile Machine Learning

Preparing Video For Download...