Операции с RDD в PySpark

Основы Big Data с PySpark

Upendra Devisetty

Science Analyst, CyVerse

Обзор операций PySpark

Трансформации создают новые RDD
Действия выполняют вычисления над RDD

Трансформации RDD

Трансформации используют «ленивые» вычисления

Основные трансформации RDD
- map(), filter(), flatMap() и union()

Трансформация map()

Трансформация map() применяет функцию ко всем элементам RDD

map

RDD = sc.parallelize([1,2,3,4])
RDD_map = RDD.map(lambda x: x * x)

Трансформация filter()

Трансформация filter() возвращает новый RDD только с элементами, удовлетворяющими условию

filter

RDD = sc.parallelize([1,2,3,4])
RDD_filter = RDD.filter(lambda x: x > 2)

Трансформация flatMap()

Трансформация flatMap() возвращает несколько значений для каждого элемента исходного RDD

RDD = sc.parallelize(["hello world", "how are you"])
RDD_flatmap = RDD.flatMap(lambda x: x.split(" "))

Трансформация union()

inputRDD = sc.textFile("logs.txt")
errorRDD = inputRDD.filter(lambda x: "error" in x.split())
warningsRDD = inputRDD.filter(lambda x: "warnings" in x.split())
combinedRDD = errorRDD.union(warningsRDD)

Действия RDD

Действия возвращают результат вычислений над RDD
Основные действия RDD
- collect()
- take(N)
- first()
- count()

Действия collect() и take()

collect() возвращает все элементы набора данных в виде массива
take(N) возвращает массив из первых N элементов набора данных

RDD_map.collect()

[1, 4, 9, 16]

RDD_map.take(2)

[1, 4]

Действия first() и count()

first() выводит первый элемент RDD

RDD_map.first()

[1]

count() возвращает количество элементов в RDD

RDD_flatmap.count()

Давайте потренируемся!

Основы Big Data с PySpark