노트북 기본 사항

Databricks Lakehouse 입문

Gang Wang

Senior Data Scientist

Databricks 노트북이란?

$$

recraft: half: A scientist at a clean modern laboratory workbench with multiple colorful instruments and tools arranged neatly, representing a multi-tool development environment

$$

  • 실행 가능한 코드 셀로 구성된 대화형 문서
  • 실행을 위해 클러스터에 연결됨
  • 코드, 결과, 문서를 한 곳에서 관리
  • Python, SQL, Scala, R 지원
Databricks Lakehouse 입문

매직 명령어

# Default language: Python
df = spark.table("silver_taxi_trips")
display(df)

%sql
SELECT COUNT(*) AS total_trips
FROM silver_taxi_trips

%md
## Analysis notes
Revenue is **highest** in the Northeast region.
Databricks Lakehouse 입문

사용 가능한 매직 명령어

$$

명령어 용도
%python Python 코드 실행
%sql SQL 쿼리 실행
%scala Scala 코드 실행
%r R 코드 실행
%md Markdown 렌더링
%sh 셸 명령어 실행

$$

radial: Cluster, python, sql, md, scala, r, sh

Databricks Lakehouse 입문

%run으로 다른 노트북 실행하기

$$

  • %run은 다른 노트북을 동일한 컨텍스트에서 실행합니다
  • 함수와 변수를 현재 세션에서 바로 사용할 수 있습니다
  • 재사용 가능한 유틸리티 및 공유 설정에 유용합니다

$$

# Load shared helper functions
%run /Shared/utils/data_helpers

# Now use a function defined
# in data_helpers
clean_df = clean_nulls(raw_df)
Databricks Lakehouse 입문

결과 해석하기

$$

  • 코드 셀의 출력이 셀 바로 아래에 표시됩니다
  • SQL 쿼리 결과는 대화형 테이블로 렌더링됩니다
  • DataFrame은 내장된 시각화 옵션과 함께 표시됩니다
  • 오류 발생 시 줄 번호와 함께 스택 트레이스가 표시됩니다

$$

recraft: half: A laptop screen displaying a colorful data dashboard with charts, tables, and a code cell, representing notebook output and visualization

Databricks Lakehouse 입문

요약

$$

  • 노트북은 클러스터에 연결된 대화형 문서입니다
  • 매직 명령어로 Python, SQL, R, Scala, Markdown을 혼합할 수 있습니다
  • %run은 다른 노트북의 함수를 현재 세션으로 불러옵니다
  • 결과는 내장된 테이블과 차트로 인라인 렌더링됩니다
Databricks Lakehouse 입문

연습해 봅시다!

Databricks Lakehouse 입문

Preparing Video For Download...