ビッグデータの基礎

PySparkで学ぶBig Data入門

Upendra Devisetty

Science Analyst, CyVerse

ビッグデータとは

  • ビッグデータとは、従来のデータ処理ソフトでは扱えないほど複雑なデータ集合の研究・応用を指す用語 — Wikipedia
PySparkで学ぶBig Data入門

ビッグデータの3V

  • 量、種類、速度

  • 量 (Volume): データの大きさ

  • 種類 (Variety): さまざまなソースと形式

  • 速度 (Velocity): データの発生・処理速度

PySparkで学ぶBig Data入門

ビッグデータの概念と用語

  • クラスター計算: 複数マシンのリソースを集約

  • 並列計算: 単一マシン上で同時実行

  • 分散計算: ネットワーク化ノードで並列実行

  • バッチ処理: 作業を小さく分割し各マシンで実行

  • リアルタイム処理: 即時に処理

PySparkで学ぶBig Data入門

ビッグデータ処理システム

  • Hadoop/MapReduce: Java製のスケーラブルで耐障害性のあるフレームワーク

    • オープンソース

    • バッチ処理

  • Apache Spark: 汎用で超高速なクラスター計算基盤

    • オープンソース

    • バッチとリアルタイムの両方に対応

  • 注: 現在は Apache Spark の方が Hadoop/MapReduce より一般的

PySparkで学ぶBig Data入門

Apache Spark フレームワークの特長

  • 分散クラスター計算フレームワーク

  • 大規模データをメモリ内で効率計算

  • 超高速なデータ処理基盤

  • Java、Scala、Python、R、SQL をサポート

PySparkで学ぶBig Data入門

Apache Spark のコンポーネント

スパーク

PySparkで学ぶBig Data入門

Spark のデプロイモード

  • ローカルモード: ノートPCなど1台のマシン

    • テスト・デバッグ・デモに便利

  • クラスターモード: あらかじめ用意された複数マシン

    • 本番向き

  • ワークフロー: ローカル -> クラスター

  • コード変更は不要

PySparkで学ぶBig Data入門

次は PySpark へ

PySparkで学ぶBig Data入門

Preparing Video For Download...