Những điều cơ bản về Notebook

Giới thiệu về Databricks Lakehouse

Gang Wang

Senior Data Scientist

Databricks notebook là gì?

recraft: half: Một nhà khoa học tại bàn thí nghiệm hiện đại, gọn gàng với nhiều dụng cụ đầy màu sắc được sắp xếp ngăn nắp, tượng trưng cho môi trường phát triển đa công cụ

Một tài liệu tương tác với các ô mã có thể chạy
Gắn với một cluster để thực thi
Trộn mã, kết quả và tài liệu tại một nơi
Hỗ trợ Python, SQL, Scala và R

Lệnh magic

# Default language: Python
df = spark.table("silver_taxi_trips")
display(df)

%sql
SELECT COUNT(*) AS total_trips
FROM silver_taxi_trips

%md
## Ghi chú phân tích
Doanh thu **cao nhất** ở khu vực Đông Bắc.

Các lệnh magic khả dụng

Lệnh	Mục đích
`%python`	Chạy mã Python
`%sql`	Chạy truy vấn SQL
`%scala`	Chạy mã Scala
`%r`	Chạy mã R
`%md`	Kết xuất Markdown
`%sh`	Chạy lệnh shell

radial: Cluster, python, sql, md, scala, r, sh

Chạy notebook khác với %run

%run chạy một notebook khác trong cùng ngữ cảnh
Hàm và biến sẽ khả dụng để dùng
Tuyệt vời cho tiện ích tái sử dụng và cấu hình dùng chung

# Tải các hàm trợ giúp dùng chung
%run /Shared/utils/data_helpers

# Giờ hãy dùng một hàm được định nghĩa
# trong data_helpers
clean_df = clean_nulls(raw_df)

Diễn giải kết quả

Ô mã hiển thị đầu ra ngay bên dưới
Truy vấn SQL hiển thị thành bảng tương tác
DataFrame hiển thị với tùy chọn trực quan hóa tích hợp
Lỗi hiển thị stack trace kèm số dòng

recraft: half: Màn hình laptop hiển thị một bảng điều khiển dữ liệu đầy màu sắc với biểu đồ, bảng và một ô mã, đại diện cho đầu ra notebook và trực quan hóa

Tóm tắt

Notebook là tài liệu tương tác gắn với cluster
Lệnh magic cho phép trộn Python, SQL, R, Scala và Markdown
%run nạp hàm từ notebook khác vào phiên của bạn
Kết quả hiển thị inline với bảng và biểu đồ tích hợp

Cùng luyện tập nào!

Giới thiệu về Databricks Lakehouse