Fundamente ale Big Data

Fundamentele Big Data cu PySpark

Upendra Devisetty

Science Analyst, CyVerse

Ce este Big Data?

  • Big data este un termen care desemnează studiul și aplicațiile seturilor de date prea complexe pentru software-ul tradițional de procesare - Wikipedia
Fundamentele Big Data cu PySpark

Cei 3 V ai Big Data

  • Volum, Varietate și Viteză

  • Volum: Dimensiunea datelor

  • Varietate: Surse și formate diferite

  • Viteză: Rapiditatea datelor

Fundamentele Big Data cu PySpark

Concepte și terminologie Big Data

  • Calcul în cluster: Agregarea resurselor mai multor mașini

  • Calcul paralel: Procesare simultană pe un singur computer

  • Calcul distribuit: Noduri interconectate care rulează în paralel

  • Procesare batch: Împărțirea sarcinii în segmente mici executate individual

  • Procesare în timp real: Procesarea imediată a datelor

Fundamentele Big Data cu PySpark

Sisteme de procesare Big Data

  • Hadoop/MapReduce: Framework scalabil și tolerant la erori, scris în Java

    • Open source

    • Procesare batch

  • Apache Spark: Sistem de calcul în cluster rapid și de uz general

    • Open source

    • Procesare batch și în timp real

  • Notă: Apache Spark este în prezent preferat față de Hadoop/MapReduce

Fundamentele Big Data cu PySpark

Caracteristici ale framework-ului Apache Spark

  • Framework de calcul distribuit în cluster

  • Calcule eficiente în memorie pentru seturi mari de date

  • Framework de procesare a datelor extrem de rapid

  • Suport pentru Java, Scala, Python, R și SQL

Fundamentele Big Data cu PySpark

Componentele Apache Spark

spark

Fundamentele Big Data cu PySpark

Moduri de implementare Spark

  • Modul local: O singură mașină, de ex. laptopul dvs.

    • Convenabil pentru testare, depanare și demonstrații

  • Modul cluster: Set de mașini predefinite

    • Recomandat pentru producție

  • Flux de lucru: Local -> cluster

  • Nu sunt necesare modificări de cod

Fundamentele Big Data cu PySpark

Urmează - PySpark

Fundamentele Big Data cu PySpark

Preparing Video For Download...