クラスターの管理と設定

Databricks Lakehouse 入門

Gang Wang

Senior Data Scientist

クラスターを見つける

$$

すべてのクラスター - ワークスペース内のすべて
マイクラスター - 自分が作成したもの
共有済み - 他のユーザーからアクセス権を付与されたもの
状態でフィルタリング: 実行中、終了済み

$$

recraft: half: 色分けされたフォルダーとラベルが整理されたファイルキャビネット。クラスターのフィルタリングと整理を表しています

クラスターの状態

フローチャート: 保留中、実行中、再起動中、終了中、終了済み

終了時に残るものと失われるもの

比較: 保持されるもの（設定、ノートブック、クラウドストレージ）｜失われるもの（メモリ内データ、インストール済みライブラリ、一時ファイル）

終了は削除ではありません - 設定とノートブックは保持されます
メモリ内データ、キャッシュ、pip でインストールしたパッケージはクリアされます

再起動のタイミング

$$

新しいライブラリをインストールしたが読み込まれない
クラスターの動作が不安定または低速になっている
メモリからキャッシュデータをクリアしたい
init スクリプトまたは環境変数を更新した

$$

recraft: half: 青と緑に光る円形矢印付きの電源ボタンアイコン。システムの再起動またはリフレッシュを表しています

自動スケーリングと自動終了

$$

自動スケーリングと自動終了

$$

自動スケーリングは需要に応じてワーカーを追加または削除します
過剰なプロビジョニングなしに急増する負荷に対応できます
自動終了は設定したアイドル時間が経過するとシャットダウンします
放置されたクラスターによるコストの無駄を防ぎます

クラスターポリシー

$$

クラスター作成に対する管理者定義のガードレール
ノードタイプ、最大ワーカー数、ランタイムバージョンを制限
自動終了とタグ付けを強制
ユーザーはポリシーの範囲内でクラスターを作成

$$

{
  "max_workers": 8,
  "auto_termination_minutes": 30,
  "allowed_node_types": [
    "Standard_DS3_v2",
    "Standard_DS4_v2"
  ]
}

まとめ

$$

フィルタリングで目的のクラスターをすばやく見つけられます
終了はコストを削減しますが、メモリとライブラリはクリアされます
再起動で新しいライブラリを反映したり問題をトラブルシューティングしたりできます
自動スケーリングと自動終了でコストを自動的に管理します
クラスターポリシーで管理者が標準を強制できます

練習しましょう！

Databricks Lakehouse 入門

Preparing Video For Download...