Podstawy Big Data

Podstawy Big Data z PySpark

Upendra Devisetty

Science Analyst, CyVerse

Czym jest Big Data?

  • Big data to termin określający badanie i zastosowanie zbiorów danych zbyt złożonych dla tradycyjnego oprogramowania do przetwarzania danych – Wikipedia
Podstawy Big Data z PySpark

3 V Big Data

  • Wolumen, Różnorodność i Prędkość

  • Wolumen: Rozmiar danych

  • Różnorodność: Różne źródła i formaty

  • Prędkość: Szybkość napływu danych

Podstawy Big Data z PySpark

Pojęcia i terminologia Big Data

  • Obliczenia klastrowe: Zasoby wielu maszyn połączonych w klaster

  • Obliczenia równoległe: Jednoczesne obliczenia na jednym komputerze

  • Obliczenia rozproszone: Węzły (komputery w sieci) działające równolegle

  • Przetwarzanie wsadowe: Podział zadania na części i wykonanie na osobnych maszynach

  • Przetwarzanie w czasie rzeczywistym: Natychmiastowe przetwarzanie danych

Podstawy Big Data z PySpark

Systemy przetwarzania Big Data

  • Hadoop/MapReduce: Skalowalna i odporna na błędy platforma napisana w Javie

    • Open source

    • Przetwarzanie wsadowe

  • Apache Spark: Szybki system obliczeniowy ogólnego przeznaczenia

    • Open source

    • Przetwarzanie wsadowe i w czasie rzeczywistym

  • Uwaga: Apache Spark jest obecnie preferowany nad Hadoop/MapReduce

Podstawy Big Data z PySpark

Cechy frameworka Apache Spark

  • Rozproszony framework do obliczeń klastrowych

  • Wydajne obliczenia w pamięci dla dużych zbiorów danych

  • Bardzo szybki framework do przetwarzania danych

  • Obsługa języków Java, Scala, Python, R i SQL

Podstawy Big Data z PySpark

Komponenty Apache Spark

spark

Podstawy Big Data z PySpark

Tryby wdrożenia Spark

  • Tryb lokalny: Pojedyncza maszyna, np. laptop

    • Wygodny do testowania, debugowania i demonstracji

  • Tryb klastrowy: Zestaw zdefiniowanych maszyn

    • Odpowiedni do środowisk produkcyjnych

  • Przepływ pracy: lokalnie -> klastry

  • Nie wymaga zmian w kodzie

Podstawy Big Data z PySpark

Co dalej – PySpark

Podstawy Big Data z PySpark

Preparing Video For Download...