クラスターの種類とランタイム

Databricks Lakehouse 入門

Gang Wang

Senior Data Scientist

クラスターとは？

$$

  • コードを実行する仮想マシンの集合
  • ドライバーノードが処理を調整する
  • 1つ以上のワーカーノードが処理を担当する
  • クラスターはクラウドストレージからデータを読み込む

$$

$$

階層構造: ドライバーノード、ワーカー1、ワーカー2、ワーカー3、クラウドストレージ

Databricks Lakehouse 入門

汎用クラスター

$$

  • インタラクティブな開発とアドホッククエリ
  • チーム内の複数ユーザーで共有
  • 手動で停止するまで稼働し続ける
  • 自家用車のようなもので、常に使えますが駐車中もコストがかかります

$$

常に利用可能だがアイドル中もコストが発生する、常時起動のコンピューティングリソースを表す、駐車中の自家用車

Databricks Lakehouse 入門

ジョブクラスター

$$

  • ジョブ開始時に自動的に作成される
  • 単一タスクを実行後、自動終了する
  • 手動管理は不要
  • 本番ワークロード向けにコスト最適化されている

$$

自動的に起動・停止するオンデマンドのコンピューティングリソースを表す、メーターが光るモダンなタクシー

Databricks Lakehouse 入門

使い分けの基準

$$

比較: 汎用クラスター（インタラクティブ開発、Notebook作業、アドホックSQL、チーム共有） | ジョブクラスター（夜間ETL、定期レポート、自動テスト、本番環境）

  • よくある誤り： 本番パイプラインを汎用クラスターで実行すること
Databricks Lakehouse 入門

Databricks Runtime

$$

  • すべてのクラスターで動作するバージョン管理されたソフトウェアスタック
  • Apache Spark、Delta Lake、Python、R、Scalaを含む
  • LTSバージョンは長期サポート付きで、本番環境に推奨
  • ML RuntimeはMLライブラリをプリインストール済みで提供

$$

レイヤー構成: Runtime 15.4 LTS、Apache Spark 3.5.x、Delta Lake 3.2.x、Python 3.11 / Scala 2.12 / R 4.3、システムライブラリ

Databricks Lakehouse 入門

まとめ

$$

  • 汎用クラスター - インタラクティブ、共有、手動管理
  • ジョブクラスター - 自動化、単一タスク、コスト最適化
  • Databricks Runtime - バージョン管理されたソフトウェアスタック（本番環境にはLTSを推奨）
  • コスト管理のため、ワークロードに合ったクラスタータイプを選びましょう
Databricks Lakehouse 入門

練習しましょう！

Databricks Lakehouse 入門

Preparing Video For Download...