Databricks 노트북 활용

Databricks에서 Spark SQL로 데이터 변환하기

Disha Mukherjee

Lead Data Engineer

강사 소개

$$

$$

$$

Disha Mukherjee

  • 수석 데이터 엔지니어
  • Ford Credit, Just Eat, PayU 근무 경력

 

강사 사진

Databricks에서 Spark SQL로 데이터 변환하기

$$

Introduction to Databricks SQL

$$

$$

  • Databricks에서 직접 실습합니다 🧱

$$

Introduction to PySpark

Databricks에서 Spark SQL로 데이터 변환하기

학습 내용

노트북, 데이터, 변환 아이콘

Databricks에서 Spark SQL로 데이터 변환하기

Databricks란?

Databricks 워크스페이스 개요

  • 엔지니어링 및 분석 도구를 제공합니다 📊
  • 프로비저닝과 스케일링을 자동으로 처리합니다 🔄
Databricks에서 Spark SQL로 데이터 변환하기

클러스터와 Spark

드라이버와 워커 다이어그램

  • Spark는 대용량 데이터를 효율적으로 처리합니다 🚀
  • 실습에는 서버리스 컴퓨팅을 사용합니다 - 동일한 아키텍처, 별도 설정 불필요
Databricks에서 Spark SQL로 데이터 변환하기

Databricks 노트북

여러 셀이 있는 Databricks 노트북

Databricks에서 Spark SQL로 데이터 변환하기

데이터셋 소개

고객 거래 미리보기 테이블

Databricks에서 Spark SQL로 데이터 변환하기

Unity Catalog 볼륨

볼륨 업로드 옵션이 표시된 카탈로그 UI

Databricks에서 Spark SQL로 데이터 변환하기

DataFrame에 데이터 불러오기

path = "/Volumes/.../default/transactions.csv"
df = spark.read.csv(path, header=True, inferSchema=True)

df:pyspark.sql.connect.dataframe.DataFrame
    ID:integer
    Date:timestamp
    Customer_ID:string
    ....
    Transaction_Status:string
Databricks에서 Spark SQL로 데이터 변환하기

DataFrame 검사하기

df.printSchema()

root
 |-- ID: integer (nullable = true)
 |-- Date: timestamp (nullable = true)
 ...
 |-- Transaction_Status: string (nullable = true)
Databricks에서 Spark SQL로 데이터 변환하기

데이터 미리보기

df.show(5, truncate=False)

Databricks에서 결과 미리보기

Databricks에서 Spark SQL로 데이터 변환하기

드라이버 로그

드라이버 로그

Databricks에서 Spark SQL로 데이터 변환하기

연습해 봅시다!

Databricks에서 Spark SQL로 데이터 변환하기

Preparing Video For Download...