Grunderna i datateknisk konstruktion i Databricks

Databricks – grundläggande koncept

Kevin Barlow

Data Practitioner

Medallionarkitektur

Diagram över medallionarkitektur

Läsa data

Spark är ett mycket flexibelt ramverk och kan läsa från en mängd olika datakällor och format.

Vanliga datakällor och format:

Delta-tabeller
Filformat (CSV, JSON, Parquet, XML)
Databaser (MySQL, Postgres, EDW)
Strömmande data
Bilder / Video

Datakällor – filformat

Datakällor – databaser

Datakällor – nya format

Läsa data

Spark är ett mycket flexibelt ramverk och kan läsa från en mängd olika datakällor och format.

Vanliga datakällor och format:

Delta-tabeller
Filformat (CSV, JSON, Parquet, XML)
Databaser (MySQL, Postgres, EDW)
Strömmande data
Bilder / Video

#Delta table
spark.read.table()
#CSV files
spark.read.format('csv').load('*.csv')
#Postgres table
spark.read.format("jdbc")
  .option("driver", driver)
  .option("url", url)
  .option("dbtable", table)
  .option("user", user)
  .option("password", password)
  .load()

Delta-tabellens struktur

En Delta-tabell ger ett öppet filformat tabellliknande egenskaper.

Fungerar som en tabell vid läsning
Åtkomst till underliggande filer (Parquet och JSON)

Delta-struktur

Delta Lake-strukturen förklarad

Receptkort – matbild

Receptkort – ingredienser och steg

DataFrames

DataFrames är tvådimensionella representationer av data.

Liknar tabeller till utseende och känsla
Liknande koncept finns i många dataverktyg
- Spark (standard), pandas, dplyr, SQL-frågor
Grundläggande konstrukt för de flesta dataprocesser

id	customerName	bookTitle
1	John Data	Guide to Spark
2	Sally Bricks	SQL for Data Engineering
3	Adam Delta	Keeping Data Clean

df = (spark.read
  .format("csv")
  .option("header", "true")
  .option("inferSchema", "true")
  .load("/data.csv"))

Skriva data

Tabelltyper i Databricks

Hanterade tabeller
- Standardtyp
- Lagras med Unity Catalog
- Hanteras av Databricks
Externa tabeller
- Lagras på annan plats
- Ange LOCATION
- Hanteras av kunden

df.write.saveAsTable(table_name)

CREATE TABLE table_name 
USING delta 
AS ...

df.write
  .location('').saveAsTable(table_name)

CREATE TABLE table_name 
USING delta 
LOCATION "<path>" 
AS ...

Nu kör vi en övning!

Databricks – grundläggande koncept