Kärnfunktioner i Databricks Lakehouse Platform

Databricks – grundläggande koncept

Kevin Barlow

Data Practitioner

Apache Spark

Apache Spark är ett ramverk för databehandling med öppen källkod och utgör motorn bakom Databricks.

DataCamp-kurser

  • Introduction to Pyspark
  • Big Data Fundamentals with Pyspark
  • Cleaning Data with Pyspark
  • Machine Learning with Pyspark
  • Introduction to Spark SQL in Python
Databricks – grundläggande koncept

Fördelar med Spark

Viktiga fördelar:

  1. Utbyggbart ramverk med öppen källkod
  2. Stor utvecklarcommunity
  3. Höga prestanda
  4. Databricks-optimeringar

Diagram över Spark-kluster

1 https://spark.apache.org/docs/latest/cluster-overview.html
Databricks – grundläggande koncept

Grunderna i molnbaserad databehandling

Klassisk datoranvändning

Molnbaserad datoranvändning

Databricks – grundläggande koncept

Databricks Compute

Kluster

  • Samling beräkningsresurser
  • Alla arbetsbelastningar, alla användningsfall
  • Generella kluster vs. jobbkluster

Språk som stöds i Databricks

SQL Warehouses

  • Endast SQL
  • BI-användningsfall
  • Photon

SQL-språk

Databricks – grundläggande koncept

Molnbaserad datalagring

Molnbaserad datalagring - DB

Molnbaserad datalagring - filer

Databricks – grundläggande koncept

Delta

Delta Lake-logotyp

Delta är ett filformat för datalagring med öppen källkod och erbjuder:

  • ACID-transaktioner
  • Enhetlig batch- och strömningsbehandling
  • Schemaevolering
  • Tabellhistorik
  • Tidsresor
1 delta.io
Databricks – grundläggande koncept

Unity Catalog

Unity Catalog är en öppen datastyrningsstrategi som kontrollerar åtkomst till alla datatillgångar i Databricks Lakehouse-plattformen.

  • SQL GRANT-, REVOKE-satser för åtkomstkontroll
  • Enkelt gränssnitt för datastyrning

Datakatalog

Databricks – grundläggande koncept

Databricks UI

Utformat för enklare åtkomst till funktioner utifrån din dataarbetsbelastning.

  • Alla användare har åtkomst till data och beräkningsresurser
  • SQL-användare får ett välbekant gränssnitt för frågor och rapporter
  • Datatekniker använder Delta Live Tables
  • Maskininlärningsarbetsbelastningar använder modeller, särdrag och mer

Databricks-meny

Databricks – grundläggande koncept

Nu kör vi en övning!

Databricks – grundläggande koncept

Preparing Video For Download...