Główne funkcje platformy Databricks Lakehouse

Koncepcje Databricks

Kevin Barlow

Data Practitioner

Apache Spark

Apache Spark to framework do przetwarzania danych o otwartym kodzie źródłowym – stanowi silnik platformy Databricks.

Kursy DataCamp

  • Introduction to Pyspark
  • Big Data Fundamentals with Pyspark
  • Cleaning Data with Pyspark
  • Machine Learning with Pyspark
  • Introduction to Spark SQL in Python
Koncepcje Databricks

Zalety Spark

Główne zalety:

  1. Rozszerzalny, elastyczny framework open-source
  2. Duża społeczność deweloperów
  3. Wysoka wydajność
  4. Optymalizacje Databricks

Diagram klastra Spark

1 https://spark.apache.org/docs/latest/cluster-overview.html
Koncepcje Databricks

Podstawy przetwarzania w chmurze

Klasyczne przetwarzanie

Przetwarzanie w chmurze

Koncepcje Databricks

Obliczenia w Databricks

Klastry

  • Zbiór zasobów obliczeniowych
  • Wszystkie obciążenia, dowolny przypadek użycia
  • Ogólnego przeznaczenia vs. Jobs

Języki obsługiwane przez Databricks

SQL Warehouses

  • Tylko SQL
  • Przypadki użycia BI
  • Photon

Język SQL

Koncepcje Databricks

Przechowywanie danych w chmurze

Przechowywanie danych w chmurze – DB

Przechowywanie danych w chmurze – pliki

Koncepcje Databricks

Delta

Logo Delta Lake

Delta to format pliku do przechowywania danych o otwartym kodzie źródłowym, który zapewnia:

  • Transakcje ACID
  • Zunifikowane przetwarzanie wsadowe i strumieniowe
  • Ewolucję schematu
  • Historię tabeli
  • Podróż w czasie
1 delta.io
Koncepcje Databricks

Unity Catalog

Unity Catalog to otwarta strategia zarządzania danymi, kontrolująca dostęp do wszystkich zasobów danych w platformie Databricks Lakehouse.

  • Instrukcje SQL GRANT, REVOKE do kontroli dostępu
  • Prosty interfejs zarządzania

Katalog danych

Koncepcje Databricks

Interfejs użytkownika Databricks

Zaprojektowany z myślą o łatwiejszym dostępie do funkcji zgodnie z rodzajem obciążenia danych.

  • Wszyscy użytkownicy mają dostęp do danych i zasobów obliczeniowych
  • Użytkownicy SQL mają znajomy interfejs do zapytań i raportów
  • Inżynierowie danych korzystają z Delta Live Tables
  • Obciążenia ML wykorzystują modele, cechy i inne elementy

Menu Databricks

Koncepcje Databricks

Powtórzenie materiału!

Koncepcje Databricks

Preparing Video For Download...