Databricks ノートブックの操作

Databricks における Spark SQL を使ったデータ変換

Disha Mukherjee

Lead Data Engineer

インストラクター紹介

$$

$$

$$

Disha Mukherjee

  • リード・データエンジニア
  • Ford Credit、Just Eat、PayU での勤務経験あり

 

インストラクターの写真

Databricks における Spark SQL を使ったデータ変換

$$

Introduction to Databricks SQL

$$

$$

  • Databricks 内でスキルを実践します 🧱

$$

Introduction to PySpark

Databricks における Spark SQL を使ったデータ変換

学習内容

ノートブック、データ、変換のアイコン

Databricks における Spark SQL を使ったデータ変換

Databricks とは？

Databricks ワークスペースの概要

  • エンジニアリングと分析のためのツールを提供します 📊
  • プロビジョニングとスケーリングを自動で処理します 🔄
Databricks における Spark SQL を使ったデータ変換

クラスターと Spark

ドライバーとワーカーの図

  • Spark は大規模なデータセットを効率的に処理します 🚀
  • 演習では サーバーレスコンピュート を使用します。同じアーキテクチャで、セットアップ不要です
Databricks における Spark SQL を使ったデータ変換

Databricks ノートブック

複数のセルを持つ Databricks ノートブック

Databricks における Spark SQL を使ったデータ変換

データセットの紹介

顧客トランザクションのプレビューテーブル

Databricks における Spark SQL を使ったデータ変換

Unity Catalog ボリューム

ボリュームへのアップロードオプションを示すカタログ UI

Databricks における Spark SQL を使ったデータ変換

DataFrame へのデータ読み込み

path = "/Volumes/.../default/transactions.csv"
df = spark.read.csv(path, header=True, inferSchema=True)

df:pyspark.sql.connect.dataframe.DataFrame
    ID:integer
    Date:timestamp
    Customer_ID:string
    ....
    Transaction_Status:string
Databricks における Spark SQL を使ったデータ変換

DataFrame の確認

df.printSchema()

root
 |-- ID: integer (nullable = true)
 |-- Date: timestamp (nullable = true)
 ...
 |-- Transaction_Status: string (nullable = true)
Databricks における Spark SQL を使ったデータ変換

データのプレビュー

df.show(5, truncate=False)

Databricks での出力プレビュー

Databricks における Spark SQL を使ったデータ変換

ドライバーログ

ドライバーログ

Databricks における Spark SQL を使ったデータ変換

練習しましょう！

Databricks における Spark SQL を使ったデータ変換

Preparing Video For Download...