Funcționalități cheie ale platformei Databricks Lakehouse

Concepte Databricks

Kevin Barlow

Data Practitioner

Apache Spark

Apache Spark este un framework open-source de procesare a datelor și reprezintă motorul din spatele Databricks.

Cursuri DataCamp

Introduction to Pyspark
Big Data Fundamentals with Pyspark
Cleaning Data with Pyspark
Machine Learning with Pyspark
Introduction to Spark SQL in Python

Beneficiile Spark

Beneficii cheie:

Framework open-source extensibil și flexibil
Comunitate largă de dezvoltatori
Performanță ridicată
Optimizări Databricks

Diagrama clusterului Spark

¹ https://spark.apache.org/docs/latest/cluster-overview.html

Noțiuni de bază despre cloud computing

Calcul clasic

Calcul în cloud

Resurse de calcul Databricks

Clustere

Colecție de resurse de calcul
Toate tipurile de sarcini de lucru
Universal vs. Joburi

Limbaje suportate de Databricks

SQL Warehouses

Doar SQL
Cazuri de utilizare BI
Photon

Limbaj SQL

Stocarea datelor în cloud

Stocare date în cloud - DB

Stocare date în cloud - fișiere

Delta

Logo Delta Lake

Delta este un format de stocare a datelor open-source și oferă:

Tranzacții ACID
Procesare batch și streaming unificată
Evoluție schemă
Istoricul tabelului
Călătorie în timp

¹ delta.io

Unity Catalog

Unity Catalog este o strategie open de guvernanță a datelor care controlează accesul la toate activele de date din platforma Databricks Lakehouse.

Instrucțiuni SQL GRANT, REVOKE pentru controlul accesului
Interfață simplă pentru guvernanță

Catalog de date

Interfața Databricks

Conceput pentru acces simplificat la funcționalități, în funcție de tipul sarcinii de lucru.

Toți utilizatorii au acces la date și resurse de calcul
Utilizatorii SQL beneficiază de o interfață familiară pentru interogări și rapoarte
Inginerii de date folosesc Delta Live Tables
Sarcinile de lucru ML utilizează modele, trăsături și altele

Meniul Databricks

Să recapitulăm!

Concepte Databricks