Dasar-dasar notebook

Pengantar Databricks Lakehouse

Gang Wang

Senior Data Scientist

Apa itu notebook Databricks?

recraft: half: Seorang ilmuwan di meja kerja laboratorium modern yang rapi dengan berbagai instrumen dan alat berwarna-warni tersusun rapi, mewakili lingkungan pengembangan multi-alat

Dokumen interaktif berisi sel kode yang bisa dijalankan
Terhubung ke cluster untuk eksekusi
Campur kode, hasil, dan dokumentasi di satu tempat
Mendukung Python, SQL, Scala, dan R

Perintah magic

# Default language: Python
df = spark.table("silver_taxi_trips")
display(df)

%sql
SELECT COUNT(*) AS total_trips
FROM silver_taxi_trips

%md
## Catatan analisis
Pendapatan **tertinggi** di wilayah Timur Laut.

Perintah magic yang tersedia

Command	Tujuan
`%python`	Menjalankan kode Python
`%sql`	Menjalankan kueri SQL
`%scala`	Menjalankan kode Scala
`%r`	Menjalankan kode R
`%md`	Merender Markdown
`%sh`	Menjalankan perintah shell

radial: Cluster, python, sql, md, scala, r, sh

Menjalankan notebook lain dengan %run

%run menjalankan notebook lain dalam konteks yang sama
Fungsi dan variabel menjadi tersedia
Cocok untuk utilitas dapat digunakan ulang dan konfigurasi bersama

# Memuat fungsi pembantu bersama
%run /Shared/utils/data_helpers

# Kini gunakan fungsi yang didefinisikan
# di data_helpers
clean_df = clean_nulls(raw_df)

Menafsirkan hasil

Sel kode menampilkan hasil tepat di bawahnya
Kueri SQL dirender sebagai tabel interaktif
DataFrame tampil dengan opsi visualisasi bawaan
Error menampilkan stack trace dengan nomor baris

recraft: half: Layar laptop menampilkan dasbor data berwarna dengan bagan, tabel, dan sel kode, mewakili keluaran notebook dan visualisasi

Ringkasan

Notebook adalah dokumen interaktif yang terhubung ke cluster
Perintah magic memungkinkan Anda mencampur Python, SQL, R, Scala, dan Markdown
%run memuat fungsi dari notebook lain ke sesi Anda
Hasil dirender inline dengan tabel dan bagan bawaan

Ayo berlatih!

Pengantar Databricks Lakehouse