Основы больших данных

Основы Big Data с PySpark

Upendra Devisetty

Science Analyst, CyVerse

Что такое большие данные?

  • Большие данные — термин для обозначения наборов данных, слишком сложных для обработки традиционными инструментами — Wikipedia
Основы Big Data с PySpark

3 «V» больших данных

  • Объём, Разнообразие и Скорость

  • Объём: размер данных

  • Разнообразие: различные источники и форматы

  • Скорость: скорость поступления данных

Основы Big Data с PySpark

Концепции и терминология больших данных

  • Кластерные вычисления: объединение ресурсов нескольких машин

  • Параллельные вычисления: одновременное выполнение задач на одном компьютере

  • Распределённые вычисления: узлы (сетевые компьютеры), работающие параллельно

  • Пакетная обработка: разбивка задачи на части и их выполнение на отдельных машинах

  • Обработка в реальном времени: немедленная обработка данных

Основы Big Data с PySpark

Системы обработки больших данных

  • Hadoop/MapReduce: масштабируемый отказоустойчивый фреймворк на Java

    • Открытый исходный код

    • Пакетная обработка

  • Apache Spark: универсальная высокопроизводительная система кластерных вычислений

    • Открытый исходный код

    • Пакетная и потоковая обработка данных

  • Примечание: Apache Spark сегодня предпочтительнее Hadoop/MapReduce

Основы Big Data с PySpark

Возможности фреймворка Apache Spark

  • Распределённый фреймворк кластерных вычислений

  • Эффективные вычисления в памяти для больших наборов данных

  • Высокоскоростная обработка данных

  • Поддержка Java, Scala, Python, R и SQL

Основы Big Data с PySpark

Компоненты Apache Spark

Компоненты Spark

Основы Big Data с PySpark

Режимы развёртывания Spark

  • Локальный режим: одна машина, например ваш ноутбук

    • Удобен для тестирования, отладки и демонстрации

  • Режим кластера: набор заранее определённых машин

    • Подходит для производственной среды

  • Рабочий процесс: локально → кластер

  • Изменение кода не требуется

Основы Big Data с PySpark

Далее — PySpark

Основы Big Data с PySpark

Preparing Video For Download...