PySpark MLlib का अवलोकन
PySpark के साथ Big Data Fundamentals
Upendra Devisetty
Science Analyst, CyVerse
PySpark MLlib क्या है?
Machine learning is a scientific discipline that explores the construction and
study of algorithms that can learn from data
MLlib, Apache Spark का मशीन लर्निंग कॉम्पोनेंट है
MLlib द्वारा उपलब्ध टूल्स:
ML Algorithms: collaborative filtering, classification, और clustering
Featurization: feature extraction, transformation, dimensionality reduction, और selection
Pipelines: ML Pipelines बनाने, मूल्यांकन करने, और ट्यून करने के टूल्स
PySpark MLlib क्यों?
Scikit-learn, data mining और machine learning के लिए एक लोकप्रिय Python लाइब्रेरी है
Scikit-learn एल्गोरिदम सिर्फ छोटी datasets पर एक ही मशीन पर काम करते हैं
Spark के MLlib एल्गोरिदम क्लस्टर पर parallel processing के लिए डिज़ाइन किए गए हैं
Scala, Java, और R जैसी भाषाओं को सपोर्ट करता है
Machine learning pipelines बनाने के लिए high-level API देता है
PySpark MLlib एल्गोरिदम
Classification (Binary और Multiclass) और Regression: Linear SVMs, logistic regression, decision trees, random forests, gradient-boosted trees, naive Bayes, linear least squares, Lasso, ridge regression, isotonic regression
Collaborative filtering: Alternating least squares (ALS)
Clustering: K-means, Gaussian mixture, Bisecting K-means और Streaming K-Means
PySpark MLlib में Machine Learning के तीन C
Collaborative filtering (recommender engines): सिफारिशें जनरेट करता है
Classification: तय करता है कि नई observation किस श्रेणी में आती है
Clustering: समान गुणों के आधार पर डेटा को समूहित करता है
PySpark MLlib इम्पोर्ट्स
- Collaborative filtering
from pyspark.mllib.recommendation import ALS
- Classification
from pyspark.mllib.classification import LogisticRegressionWithLBFGS
- Clustering
from pyspark.mllib.clustering import KMeans
अभ्यास करते हैं!
PySpark के साथ Big Data Fundamentals
