PySpark में RDD ऑपरेशंस
PySpark के साथ Big Data Fundamentals
Upendra Devisetty
Science Analyst, CyVerse
PySpark ऑपरेशंस का अवलोकन
- Transformations नए RDD बनाते हैं
- Actions RDD पर computation चलाकर परिणाम देते हैं
RDD Transformations
- Transformations में Lazy evaluation होता है
मूल RDD Transformations
map(),filter(),flatMap(), औरunion()
map() Transformation
map()transformation RDD के हर एलिमेंट पर एक function लगाता है
RDD = sc.parallelize([1,2,3,4])
RDD_map = RDD.map(lambda x: x * x)
filter() Transformation
filter()transformation केवल वे एलिमेंट रखकर नया RDD देता है जो शर्त पास करें
RDD = sc.parallelize([1,2,3,4])
RDD_filter = RDD.filter(lambda x: x > 2)
flatMap() Transformation
flatMap()transformation मूल RDD के हर एलिमेंट से कई मान लौटाता है
RDD = sc.parallelize(["hello world", "how are you"])
RDD_flatmap = RDD.flatMap(lambda x: x.split(" "))
union() Transformation
inputRDD = sc.textFile("logs.txt")
errorRDD = inputRDD.filter(lambda x: "error" in x.split())
warningsRDD = inputRDD.filter(lambda x: "warnings" in x.split())
combinedRDD = errorRDD.union(warningsRDD)
