Databricks not defterleriyle çalışmak

Databricks'te Spark SQL ile Veri Dönüştürme

Disha Mukherjee

Lead Data Engineer

Eğitmenin

$$

$$

$$

Disha Mukherjee

  • Lead Data Engineer
  • Ford Credit, Just Eat ve PayU'da çalıştı

 

Eğitmen fotoğrafı

Databricks'te Spark SQL ile Veri Dönüştürme

$$

Databricks SQL'e giriş

$$

$$

  • Becerilerini Databricks içinde uygulayacaksın 🧱

$$

PySpark'a giriş

Databricks'te Spark SQL ile Veri Dönüştürme

Neler beklemelisin

Not defterleri, veri, dönüşümler için simgeler

Databricks'te Spark SQL ile Veri Dönüştürme

Databricks nedir?

Databricks çalışma alanı genel bakışı

  • Mühendislik ve analitik için araçlar sunar 📊
  • Sağlama ve ölçeklemeyi bizim için yönetir 🔄
Databricks'te Spark SQL ile Veri Dönüştürme

Kümeler ve Spark

Sürücü ve işçiler diyagramı

  • Spark büyük veri kümelerini verimli işler 🚀
  • Egzersizlerde serverless compute kullanılır - aynı mimari, kurulum yok
Databricks'te Spark SQL ile Veri Dönüştürme

Databricks not defterleri

Birden çok hücreli Databricks not defteri

Databricks'te Spark SQL ile Veri Dönüştürme

Veri kümesine giriş

Müşteri işlemlerinin tablo ön izlemesi

Databricks'te Spark SQL ile Veri Dönüştürme

Unity Catalog Volumes

Yükleme seçeneği olan bir hacmi gösteren Catalog arayüzü

Databricks'te Spark SQL ile Veri Dönüştürme

Veriyi bir DataFrame'e yükleme

path = "/Volumes/.../default/transactions.csv"
df = spark.read.csv(path, header=True, inferSchema=True)

df:pyspark.sql.connect.dataframe.DataFrame
    ID:integer
    Date:timestamp
    Customer_ID:string
    ....
    Transaction_Status:string
Databricks'te Spark SQL ile Veri Dönüştürme

DataFrame'i inceleme

df.printSchema()

root
 |-- ID: integer (nullable = true)
 |-- Date: timestamp (nullable = true)
 ...
 |-- Transaction_Status: string (nullable = true)
Databricks'te Spark SQL ile Veri Dönüştürme

Veriyi ön izleme

df.show(5, truncate=False)

Databricks'te çıktıları ön izleme

Databricks'te Spark SQL ile Veri Dönüştürme

Sürücü günlükleri

Sürücü günlükleri

Databricks'te Spark SQL ile Veri Dönüştürme

Hadi pratik yapalım!

Databricks'te Spark SQL ile Veri Dönüştürme

Preparing Video For Download...