Kernfuncties van het Databricks Lakehouse Platform

Databricks-concepten

Kevin Barlow

Data Practitioner

Apache Spark

Apache Spark is een open‑source dataverwerkingsframework en de engine onder Databricks.

DataCamp-cursussen

  • Introduction to Pyspark
  • Big Data Fundamentals with Pyspark
  • Cleaning Data with Pyspark
  • Machine Learning with Pyspark
  • Introduction to Spark SQL in Python
Databricks-concepten

Voordelen van Spark

Belangrijkste voordelen:

  1. Uitbreidbaar, flexibel open‑source framework
  2. Grote ontwikkelaarscommunity
  3. Hoge prestaties
  4. Databricks‑optimalisaties

Spark‑clusteroverzicht

1 https://spark.apache.org/docs/latest/cluster-overview.html
Databricks-concepten

Cloudcomputing: basis

Klassieke computing

Cloud computing

Databricks-concepten

Databricks Compute

Clusters

  • Verzameling rekenresources
  • Alle workloads, elk usecase
  • All‑purpose vs. Jobs

Door Databricks ondersteunde talen

SQL Warehouses

  • Alleen SQL
  • BI‑usecases
  • Photon

SQL‑taal

Databricks-concepten

Cloudopslag

Cloudopslag - DB

Cloudopslag - bestanden

Databricks-concepten

Delta

Delta Lake-logo

Delta is een open‑source bestandsformaat voor dataopslag en biedt:

  • ACID-transacties
  • Geünificeerde batch en streaming
  • Schema‑evolutie
  • Tabelgeschiedenis
  • Time travel
1 delta.io
Databricks-concepten

Unity Catalog

Unity Catalog is een open datagovernancestrategie die toegang tot alle data-assets in het Databricks Lakehouse beheert.

  • SQL GRANT-, REVOKE-statements om toegang te regelen
  • Eenvoudige interface voor governance

Datacatalogus

Databricks-concepten

Databricks‑UI

Ontworpen voor snelle toegang tot functies per dataworkload.

  • Alle gebruikers hebben toegang tot data en compute
  • SQL‑gebruikers krijgen een vertrouwde interface voor queries en rapporten
  • Data-engineers gebruiken Delta Live Tables
  • ML‑workloads gebruiken modellen, features en meer

Databricks-menu

Databricks-concepten

Laten we het herhalen!

Databricks-concepten

Preparing Video For Download...