Огляд PySpark MLlib
Основи Big Data з PySpark
Upendra Devisetty
Science Analyst, CyVerse
Що таке PySpark MLlib?
Machine learning is a scientific discipline that explores the construction and
study of algorithms that can learn from data
MLlib — це компонент Apache Spark для машинного навчання
MLlib надає різноманітні інструменти:
Алгоритми ML: колаборативна фільтрація, класифікація та кластеризація
Ознаковування: видобування ознак, перетворення, зменшення розмірності та відбір
Конвеєри: інструменти для побудови, оцінювання та налаштування ML-конвеєрів
Чому PySpark MLlib?
Scikit-learn — популярна бібліотека Python для добування даних і машинного навчання
Алгоритми scikit-learn працюють лише з малими наборами даних на одній машині
Алгоритми Spark MLlib спроєктовано для паралельної обробки в кластері
Підтримує мови, зокрема Scala, Java та R
Надає високорівневий API для побудови конвеєрів машинного навчання
Алгоритми PySpark MLlib
Класифікація (бінарна й мультикласова) та регресія: лінійні SVM, логістична регресія, дерева рішень, випадкові ліси, бустингові дерева, наївний Байєс, метод найменших квадратів, Lasso, гребенева регресія, ізотонічна регресія
Колаборативна фільтрація: Alternating least squares (ALS)
Кластеризація: K-means, гаусівська суміш, бісекційний K-means і Streaming K-Means
Три «C» машинного навчання в PySpark MLlib
Колаборативна фільтрація (рекомендаційні системи): створює рекомендації
Класифікація: визначає, до якої категорії належить нове спостереження
Кластеризація: групує дані за подібними характеристиками
Імпорти PySpark MLlib
- Колаборативна фільтрація
from pyspark.mllib.recommendation import ALS
- Класифікація
from pyspark.mllib.classification import LogisticRegressionWithLBFGS
- Кластеризація
from pyspark.mllib.clustering import KMeans
Давайте потренуємось!
Основи Big Data з PySpark
