ノートブックの基礎

Databricks Lakehouse 入門

Gang Wang

Senior Data Scientist

Databricks ノートブックとは？

$$

recraft: half: A scientist at a clean modern laboratory workbench with multiple colorful instruments and tools arranged neatly, representing a multi-tool development environment

$$

  • 実行可能なコードセルを持つインタラクティブなドキュメント
  • 実行のためにクラスターに接続
  • コード、結果、ドキュメントを一か所にまとめて管理
  • Python、SQL、Scala、R をサポート
Databricks Lakehouse 入門

マジックコマンド

# Default language: Python
df = spark.table("silver_taxi_trips")
display(df)

%sql
SELECT COUNT(*) AS total_trips
FROM silver_taxi_trips

%md
## Analysis notes
Revenue is **highest** in the Northeast region.
Databricks Lakehouse 入門

利用可能なマジックコマンド

$$

コマンド 用途
%python Python コードを実行
%sql SQL クエリを実行
%scala Scala コードを実行
%r R コードを実行
%md Markdown をレンダリング
%sh シェルコマンドを実行

$$

radial: Cluster, python, sql, md, scala, r, sh

Databricks Lakehouse 入門

%run で別のノートブックを実行する

$$

  • %run は別のノートブックを同じコンテキストで実行します
  • 関数や変数がセッションで利用可能になります
  • 再利用可能なユーティリティや共有設定に最適です

$$

# Load shared helper functions
%run /Shared/utils/data_helpers

# Now use a function defined
# in data_helpers
clean_df = clean_nulls(raw_df)
Databricks Lakehouse 入門

結果の解釈

$$

  • コードセルの出力は直下に表示されます
  • SQL クエリはインタラクティブなテーブルとしてレンダリングされます
  • DataFrame には組み込みの可視化オプションが表示されます
  • エラーは行番号付きのスタックトレースで表示されます

$$

recraft: half: A laptop screen displaying a colorful data dashboard with charts, tables, and a code cell, representing notebook output and visualization

Databricks Lakehouse 入門

まとめ

$$

  • ノートブックはクラスターに接続したインタラクティブなドキュメントです
  • マジックコマンドで Python、SQL、R、Scala、Markdown を混在して使用できます
  • %run は他のノートブックの関数をセッションに読み込みます
  • 結果は組み込みのテーブルやグラフとしてインラインで表示されます
Databricks Lakehouse 入門

練習しましょう！

Databricks Lakehouse 入門

Preparing Video For Download...